안녕하세요? 강의를 보면서 레포설정은 문제없이 된 것 같은 데 No package python27 available.라는 에러가 자꾸 뜨고 설치가 진행이 되지 않다보니 여기 발목이 잡힌 상태입니다. 아래에 스크린샷을 주가했습니다.이상한건 레포지토리 검색을 해 보면 scl관련 레포지토리는 안보이는데 이게 정상인지요?그럼 지도편달 부탁드립니다.감사합니다. 

제가 airflow에서 dag을 받아서 최초에 실행시킬 때이 화면처럼 2번 실행이 되는 데 1번만 실행시킬 수 있는 방법이 있을지 궁금합니다.그리고 제가 email_xcom 실습을 하다가 모르고 강사님 email로 보내서 죄송합니다.

안녕하세요~ 강의를 듣다가 binlog관련 궁금한 점이 생겨서 질문드립니다!해당 커넥트의 offset정보에 담긴 binlog파일이 만약 삭제됐다면 기동 중에 오류가 발생한다고 말씀을 주셨는데, 그럼 만약 binlog 파일이 커져서 다음 파일?로 넘어가서 새로운 binlog파일로 생성이 된다면 오류는 발생하지 않고 offset에는 다음 binlog파일로 기록이 되는 것일까요?

안녕하세요. 여러분의 삽집을 줄이기 위해 정보 공유합니다.또한, 질문 게시판에 꽤 많은 같은 에러를 접하시는 분들이 계시는 것 같아, 공유합니다. 이미 선생님께서 해결 방안의 힌트를 남겨줘서 찾기 수월했습니다. 자세한 내용은 해당 링크(java.net.UnknownHostException)를 참고하세요.

안녕하세요?다름아니라 지금 다시 처음부터 실습을 해 보는 중인데 계속해서 해결이 않되는 부분이 있습니다.카프카 부분인데요 분명히 토픽도 잘 생성된 것 같아서 메시지를 프로듀싱해보면 컨슈머에서 해당 메시지가 보이지 않아서 관련해서 트러블슈팅 팁을 문의드립니다. 관련 스크린샷은 아래에 첨부하였습니다.감사합니다. 감사합니다. 

이 수업 내용에서 하나의 토픽에 여러개의 파티션을 생성 할 수 있고 이 파티션은 하나의 리더 파티션에 다른 broker에 팔로워 파티션을 생성한다고 해주셨던걸로 기억합니다.또한, producer와 consumer와 소통하는건 리더 파티션만 가능하다고 했는에 위 그림에서는 팔로워 파티션도 컨슈머와 소통가능한 걸로 보여서 헷갈려서 질문드립니다.  또한, 리더 파티션만 컨슈머와 소통가능한데 어떻게 병렬 처리가 가능하고 파티션 개수가 늘리면 처리량이 증가하는건지 잘 이해가 가지 않아서요.  감사합니다.

안녕하세요! 머하웃에서 실행하는 추천 잡이 실행이 안되어서 질문 남깁니다..! 제가 시도한 방법은 다음과 같습니다휴에서 보이는 잡들 모두 제거하고 실행클라우데라에서 클러스터1을 재시작하고 실행우지를 종료하고 실행이 방법들로는 해결되지 않았습니다.. 어찌해야 할 지 모르겠어 질문 남깁니다..!!

다음과 같이 웨어하우스에서 다운로드시 404에러가 나오며 다운로드가 되지 않고 있습니다. 주소상 문제는 아닌 것 같고, 웨어하우스 한번 확인해 주시면 좋을 것 같습니다. 감사합니다.

강의에서 윈도우는 따라 하기 힘들어서 강의 아래 자료에다가 윈도우에서 파이썬 실행하는 방법을 올려주신다고 했는데 도저히 찾을 수 없고, 강의자료도 못찾겠어요.너무 복잡해요.... 자료 있는 곳 좀 알려주세요.

현재 실시간 데이터 수집부분에서 Storm Topology를 배포하는 단계에서 다음의 스크린샷과 같은 에러가 발생하였습니다. 참고로 저는 storm 버전 0.9.7을 설치하여 실습을 진행중이며 에러 관련 스크린샷은 아래와 같습니다.어떻게 해결하면 좋을지 문의드립니다. 제공하여주신 jar파일에 의존성을 추가해서 해당 의존성을 다운로드해야 할 지 아니면 스톰의 버전을 정확하게 맞추어야 할 지 고민이 되어서 문의드립니다. 감사합니다. 

안녕하세요. 강의를 보고 설치를 따라하는 중sudo apt-get install openssh-server가 실행이 아래처럼 되지않아서문의 드립니다.sudo apt-get update를 해봤는데라고 뜹니다.원래는 중간에 us 부분이 kr 이었는데 https://blog.naver.com/lewisel/221893514069해당 블로그를 보고 변경했습니다.(다른블로그의 %s/kr.archive.ubuntu.com/ftp.daumkakao.com로 변경하라는 글도 실행해보았습니다.)그래도 안되어서 찾아보니 dns정보를 입력하라는 글도 보아서 /etc/resolv.conf 에 nameserver 8.8.8.8도 추가해보았고, /etc/network/interfaces파일도 추가해서 dns-nameservers 8.8.8.8 도 추가해보았지만 그대로인 것 같습니다.현재 다른 설정은 아래와 같습니다.  

카프카 타임존은 다음과 같이 9시간 전인 시간인 데이터가 들어오고있습니다.  시스템 타임존은 다음과 같습니다. 동기화 방법을 좀 찾아봤는데 안되서 질문드립니다.kafka/config/server.propertieslog.message.timestamp.type=CreateTimeKAFKA_JVM_PERFORMANCE_OPTS="-Duser.timezone=Asia/Seoul"

기동 로그======[2025-01-18 01:45:25,945] ERROR Could not submit metrics to Confluent: version-check.confluent.io: Name or service not known (io.confluent.support.metrics.utils.WebClient:112)[2025-01-18 01:45:25,945] ERROR Failed to submit metrics via secure endpoint, falling back to insecure endpoint (io.confluent.support.metrics.submitters.ConfluentSubmitter:135)[2025-01-18 01:45:25,947] ERROR Could not submit metrics to Confluent: version-check.confluent.io (io.confluent.support.metrics.utils.WebClient:112)[2025-01-18 01:45:25,947] ERROR Failed to submit metrics to Confluent via insecure endpoint=http://version-check.confluent.io/ksql/anon -- giving up (io.confluent.support.metrics.submitters.ConfluentSubmitter:165)======= 문제 해결 방법ksql_start.sh 스크립트 변경KSQL_OPTS="-Dconfluent.support.metrics.enable=false" $CONFLUENT_HOME/bin/ksql-server-start $CONFLUENT_HOME/etc/ksqldb/ksql-server.properties 참고 자료 : https://github.com/Cyb3rWard0g/HELK/issues/377  

아래와 같은 에러가 발생했습니다. 비슷한 질문의 답글을 확인하여 아래내용도 다시 봤지만 수정잘 되어 있고, 컨테이너 디렉토리내 common 폴더와 파일 여부를 확인하였는데도 똑같은 오류가 납니다. docker-compose.yaml volumes 항목 수정컨테이너에 들어가서 plugins 디렉토리 연결이 잘 되었는지 확인

안녕하세요! 강의 항상 잘 보고 있습니다!강의를 보고, 배치작업이 아닌 외부 api를 1분마다 호출해서 실시간 데이터처럼 보일 수 있게 데이터를 수집하는 로직을 짜고자 합니다. 이런 데이터 수집 작업도 airflow를 쓰기도 하나요??이렇게 요청이 자주 발생하는 작업은 airflow에서 비추천한다고 하는 글을 봐서 강사님의 생각은 어떤지 궁금합니다!강의랑 큰 관련은 없는 주제일 수 있지만 만약 airflow를 사용하지 않는다면 보통 이런 로직을 구현할 때 어떤 기술을 사용하는지 궁금합니다...!

실습단계 : 섹션2-Java 기반에서 Producer 구현하기 - 01실습 환경 : Windows 11 Ent x64 한글, 16GB, SSD문제 : Gradle 빌드나, 프로젝트 빌드하면 시간이 수십초(40여초) 걸립니다. 오후 5:51:51: 실행 중 'build'...로그 출력된 후, 아래 나머지 로그는 마지막에 순식간에 표시됩니다. > Task :producers:compileJava> Task :producers:processResources NO-SOURCE> Task :producers:classes> Task :producers:jar> Task :producers:assemble> Task :producers:compileTestJava NO-SOURCE> Task :producers:processTestResources NO-SOURCE> Task :producers:testClasses UP-TO-DATE> Task :producers:test NO-SOURCE> Task :producers:check UP-TO-DATE> Task :producers:buildBUILD SUCCESSFUL in 42s2 actionable tasks: 2 executed오후 5:52:34: 실행이 완료되었습니다 'build'. 왜그럴까요?  

수업내용 따라서 dag 작성 및 docker-compose.yaml 파일 수정하고 실행하였는데,ConnectionRefusedError: [Errno 111] Connection refused해당 오류로 작업실패를 하게 됩니다. 어떻게 해결하면 될지 도움 부탁드립니다.😭 

실습내용 그대로 적용하여 진행하였는데, 정상적으로 dag는 실행되었는데 t1_orange의 로그값이 확인이 되지 않네요. t2_avocado는 로그가 정상적으로 확인이 되는데.. 어디를 놓치고 있는건지 모르겠어서요. 혹시 이유가 뭘까요 

안녕하세요 실습 진행 중 wsl을 이용해서 가상공간에서 작업을 진행하시는 것 같은데 도커데스크탑을 깔고 그 안에서 이미지들을 다운받는 식으로 작업을 하는 것과 차이가 있을까요?제가 알기로는 터미널에서 코드 쳐서 다운 받는 것과 도커데스크탑에서 이미지 찾아서 다운 받는 것과의 차이는 없는 걸로 알고 있어서요혹시 wsl로 작업을 하지않고 컴퓨터 두 대로 진행하려면 어떻게 해야될까요? 같은 네트워크에 있는 상태 입니다.

안녕하세요, 선생님. Cloudera Manager 소프트웨어 설치 중 오류가 해결되지 않네요. 도움 부탁드려요! 오류 내용입니다.