다른 영상은 괜찮은데 섹션4는 목소리만 나옵니다. 화면은 블랙화면으로 계속 고정이네요. 다른 섹션은 안그런데... 저만 그런건가요??

안녕하세요 개발자님 KafkaTimeoutError: Failed to update metadata after 60.0 secs. 2025-03-21 21:28:43.328 | ERROR | kafka_communication:send_message:52 - KafkaTimeoutError: Failed to update metadata after 60.0 secs.파이썬으로 작성된 코드를 받게 되어 개발을 진행 중인데 window 환경에서 ai프로그램을 돌려 린눅스 서버에 cnotainer 컨프런트 kafka 로 결과 값을 전송 하게 되어씁니다.window 에서 ai프로그램이 결과 값을 리눅스 docker contianer로 전송 하는데 오래 걸리지만, kafka 로 전송이 되지만.,window에 있던 ai 프고르램을 다른 리눅스 서버 2 번째 환경에서 실행시키고, 첫번째 kafka가 동작 중인 kafka에 결과 값을 전송 하면 KafkaTimeoutError: Failed to update metadata after 60.0 secs.2025-03-21 21:28:43.328 | ERROR | kafka_communication:send_message:52 - KafkaTimeoutError: Failed to update metadata after 60.0 secs. error 가 발생 합니다.window에서는 안발생 했는데, 말이죠.,ai 프로그램을 강제 종료 하고 error를 보면 ^CTraceback (most recent call last): File "/home/gpu-1/projects/argos/source/ai/ai-main/message_event_handler.py", line 174, in <module> message_event_handler.handle_messages() File "/home/gpu-1/projects/argos/source/ai/ai-main/message_event_handler.py", line 80, in handle_messages msg = self.consumer.receive_message() ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/gpu-1/projects/argos/source/ai/ai-main/kafka_communication.py", line 83, in receive_message message = next(self.consumer).value ^^^^^^^^^^^^^^^^^^^ File "/opt/miniconda3/envs/argos-ai-volov8/lib/python3.11/site-packages/kafka/consumer/group.py", line 1168, in next return next(self._iterator) ^^^^^^^^^^^^^^^^^^^^ File "/opt/miniconda3/envs/argos-ai-volov8/lib/python3.11/site-packages/kafka/consumer/group.py", line 1140, in messagegenerator_v2 record_map = self.poll(timeout_ms=timeout_ms, update_offsets=False) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/opt/miniconda3/envs/argos-ai-volov8/lib/python3.11/site-packages/kafka/consumer/group.py", line 679, in poll records = self._poll_once(inner_timeout_ms(), max_records, update_offsets=update_offsets) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/opt/miniconda3/envs/argos-ai-volov8/lib/python3.11/site-packages/kafka/consumer/group.py", line 722, in pollonce self._client.poll(timeout_ms=inner_timeout_ms(self._coordinator.time_to_next_poll() * 1000)) File "/opt/miniconda3/envs/argos-ai-volov8/lib/python3.11/site-packages/kafka/client_async.py", line 683, in poll self._poll(timeout / 1000) File "/opt/miniconda3/envs/argos-ai-volov8/lib/python3.11/site-packages/kafka/client_async.py", line 742, in _poll if conn.send_pending_requests_v2(): ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/opt/miniconda3/envs/argos-ai-volov8/lib/python3.11/site-packages/kafka/conn.py", line 1039, in send_pending_requests_v2 total_bytes = self._send_bytes(self._send_buffer) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/opt/miniconda3/envs/argos-ai-volov8/lib/python3.11/site-packages/kafka/conn.py", line 683, in sendbytes sent_bytes = self._sock.send(data[total_sent:]) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^이렇게 나오고 producer 설정은class MessageProducer: def init(self, broker): self.broker = broker # self.topic = topic self.producer = self.init() def init(self): while True: try: producer = KafkaProducer( bootstrap_servers=self.broker, value_serializer=lambda x: json.dumps(x).encode('utf-8'), acks=0, request_timeout_ms=1200000, retry_backoff_ms=3000, batch_size=16384, # metadata_max_age_ms=3000000, api_version=(2, 5, 0), retries=3 ) break except Exception as e: print(e) logger.error(e) logger.error("Retry connecting to broker...") sleep(2) logger.info("Connected to kafka broker !") return producer` def send_message(self, topic, msg): try: print(f'topic: {topic}') future = self.producer.send(topic, value=msg) self.producer.flush() future.get(timeout=None) return {'status_code': 200, 'error': None} except Exception as e: print(e) logger.error(e) return e입니다. window에서 리눅스로 옴겼더니 왜 그런걸까요?설정 부분 추가 및 변경 해야 하는 부분이 어디 일까요?client에서 설정을 수정 해야 하나여ㅛ, kafka server.properties 에서 어디를 수정 해야 하나요?producer로 kafak로 부토ㅓ matadata를 기다려야 하나요?

강의 내용 똑같이 따라해봐도 redis, node 버전 관련 문제로 실행할 수 없었습니다..!저는 아래 코드로 테스트 성공했으니 참고 부탁드려요! Dockerfile >>>> node version 16 FROM node:16 WORKDIR /usr/src/app COPY ./ ./ RUN npm install CMD [ "node", "server.js" ] package.json>>> redis version 4.7.0{ "name": "nodejs-docker-compose-app", "version": "1.0.0", "main": "server.js", "scripts": { "start": "node server.js", "test": "echo \"Error: no test specified\" && exit 1" }, "dependencies": { "express": "4.17.1", "redis": "4.7.0" }, "author": "", "license": "ISC", "description": "" }  docker-compose.ymlversion: "3" services: redis-server: image: redis container_name: redis-server restart: unless-stopped expose: - 6379 node-app: depends_on: - redis-server build: context: . dockerfile: Dockerfile container_name: node-app restart: on-failure ports: - "8081:8080"  server.jsconst express = require("express"); const redis = require("redis"); const app = express(); // Redis 클라이언트 생성 const client = redis.createClient({ socket: { host: "redis-server", port: 6379 } }); async function connectToRedis() { let connected = false; while (!connected) { try { await client.connect(); console.log('Connected to Redis'); connected = true; } catch (error) { console.error('Error connecting to Redis:', error); console.log('Retrying in 2 seconds...'); await new Promise(resolve => setTimeout(resolve, 2000)); } } } // Express 엔드포인트 설정 app.get('/', async (req, res) => { try { let number = await client.get('number'); if (number === null) { number = 0; } console.log('Number: ' + number); res.send("숫자가 1씩 올라갑니다. 숫자: " + number); await client.set("number", parseInt(number) + 1); } catch (error) { console.error('Error:', error); res.status(500).send('Redis 연결 오류'); } }); // 서버 시작 전에 Redis 연결 app.listen(8080, async () => { await connectToRedis(); // 서버 시작 시 Redis 연결 시도 console.log('Server is running on port 8080'); });  모두 저장 후 터미널에서docker compose down docker compose up --build    

안녕하세요 강사님 airflow config를 변경하기 위해 시도해보았는데이렇게 expose를 false->true로 변경하여도 airflow web에서는 변경되지 않아서 혹시 어디가 잘못 되었는지 문의드립니다그리고 dag인식이 느린 것 같아 dag_dir_list 값을 100으로 변경하였는데 cpu만 괜찮다면 다른 변수들은 수정할 필요가 없을까요?

task 연결하기 강의에서t1 >> [t2, t3] >> t4t5 >> t4[t4, t7] >> t6 >> t8이렇게 작성하셨는데t1 >> [t2, t3] >> t4t5 >> [t4, t7] >> t6 >> t8이렇게 해도 될까요?순서도 그릴때 task는 무조건 한번씩만 실행되는건가요?t4[t4,t7] 이렇게 t4를 두번 작성해도 되는지 궁금합니다.

안녕하세요 강사님혹시 vsc에서 airflow관련 함수들의 자동완성을 제공하는 익스텐션이 따로 있나요?아니면 코드를 원래 전체 작성해야 하나요?위 그림에 ti.xcom_pull의 경우 ti. 하고 자동완성을 하려고 봤더니 제공하는 함수가 없어서 질문드립니다근데 뒤에 task_ids는 자동완성이 되네요

안녕하세요 강사님airflow에서 코드를 실행할 때 잘못 작성된 경우나 에러가 있는 경우 디버깅을 해야되는데 일반 코드들 처럼 실행해서 잘못된 부분을 찾으려면 항상 우분투 서버에서만 확인이 가능한가요?일반 코드들처럼 vscode 자체에서 확인하기는 어려울까요?

안녕하세요 dag commit 이후 git pull 당겨오면 webserver 에 dag가 안보이는데 Docker 재시작하면 나타나더라구요 자동으로 반영되게 하는방법 없을까요?

- 강의 영상에 대한 질문이 있으시면, 상세히 문의를 작성해주시면, 주말/휴일 제외, 2~3일 내에 답변드립니다 (이외의 문의는 평생 강의이므로 양해를 부탁드립니다.)- 강의 답변이 도움이 안되셨다면, dream@fun-coding.org 로 메일 주시면 재검토하겠습니다. - 괜찮으시면 질문전에 챗GPT 와 구글 검색을 꼭 활용해보세요~- 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요.

강의를 들으면서 헷갈리는 부분이 있는데요. debezium source connector등록시 설정하는 poll.interval.ms 파라미터는 debezium source connector가 source db로부터 데이터를 읽어들이는 데 대기하는 시간을 의미하는 걸까요? 아니면 debezium source connector가 kafka로 토픽을 전송하는데 대기하는 시간을 의미하는 걸까요?

[root@server02 ~]# bash -c "source /opt/rh/python27/ebable; pip install psycopg2==2.6.2 --ignore-installed" 해당 부분에서 아래와 같은 오류가 뜨면서 계속 막혀요.  bash: /opt/rh/python27/ebable: No such file or directoryCollecting psycopg2==2.6.2 Could not fetch URL https://pypi.python.org/simple/psycopg2/: There was a problem confirming the ssl certificate: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:727) - skipping Could not find a version that satisfies the requirement psycopg2==2.6.2 (from versions: )No matching distribution found for psycopg2==2.6.2 

안녕하세요, 강사님. 강의대로 진행했음에도 불구하고 계속 사진처럼 빨갛게 뜹니다. 제가 처음에 클라우데라 매니저 설치할 때 실수를 반복하여 클러스터를 세 번 정도 설치했다가 삭제하고 마지막으로 한 번 더 제대로 설치했는데, 이전에 설치했던 parcel 혹은 다른 잔여 파일이 남아서 그런 걸까요? parcel을 설치할 때마다 c 디스크 공간이 줄어들었던 걸 보면 잔여 파일이 남은 것 같긴 한데 어떻게 삭제해야 할까요?

강의를 들으면서 데이터 엔지니어를 준비하고 있는 학부생입니다.취업사이트에 데이터 엔지니어를 찾아보면 대게 경력 위주로 채용을 진행하고 있는데데이터 엔지니어가 신입으로 일을 할 수 있는 방법이 있는 지 ?아니면 신입으로서 바로 데이터 엔지니어로 일하기는 조금 어려운게 현실인지 궁금하여 글 작성합니다.괜찮으시다면 데이터엔지니어 직무 입사자가 이런 경험이 있으면 채용하겠다는 부분이 있는 지 알려주시면 감사하겠습니다.

트레비스가 유료화되어 챕터8에서 aws설정하는 부분까지만하고 멈춘 상태인데요 ㅎㅎ이후로는 트레비스를 통해 aws 반영하는 부분인 것 같더라고요. 혹시 남은 트레비스 부분을 제외하고 9장으로 넘어가도 괜찮을지 궁금합니다 ㅎㅎ

안녕하세요. 섹션 10에 KSQLDB와 Connect 첫 강의 1초짜리에 강의가 존재하는 이유가 강의 자료 파일 공유를 위해서 있는 것으로 유추되는데 아무것도 없는 빈 리스트네요. 혹시 제가 뭔가 놓치거나 강의 업데이트에 이슈가 있었던 것은 아닌지 여쭤보고자 게시글 남깁니다. 참고로 강의 처음에 공유해주신 강의 자료 PPT에는 해당 섹션에 대한 장표가 누락돼 있습니다.  감사합니다.

안녕하세요 airflow 관련 자격증이 있는지 궁금합니다. 구글링 해보니 따로 안나오는 것 같아서요..!보통 어떤식으로 airflow 사용역량을 어필 할 수 있는지 궁금합니다 .

op_args와 op_kwargs 등 파라미터를 전달하는 함수를 사용할 때 task 파라미터를 사용해서 하는 방법은 따로 설명이 없는데 이렇게 함수에 파라미터를 전달해서 사용할 때는 파이썬오퍼레이터를 항상 써야만하는 건가요? 

APi오류가 뜹니다..