Invalid URL error

안녕하세요 newIO.dev 님 현재 실습하신 코드 내용 전체를 복사해서 올려주시겠어요? 저도 한번 봐야 알 것 같습니다.

yaml 파일 수정후 error

안녕하세요 newIO.dev 님 혹시 docker-compose.yaml 파일에서 제일 하단쪽에 네트워크 설정한 부분만 올려주실래요?

27. Bash Operators with macros 질문 (START_DATE, END_DATE)

안녕하세요 diazepam57님!네 맞습니다! airflow 3.0에서 data_interval_start와 end 변수가 동일하게 나오도록 변경됐습니다.관련한 내용은 아래 섹션 19 의 Config 파라미터 변화 부분에서 다룹니다. (사진) 물론 처음부터 수강하시는 분들을 위해 Airflow 3.x 되면서 강의 내용에 변경된 사항들을 찾아가면서 공지를 띄우거나 수업노트에 변경사항을 수록해놓고 있는데, 이번 챕터 부분은 제가 놓친 것 같습니다. 이 챕터에도 안내사항을 좀 추가해두도록 하겠습니다. 알려주셔서 감사합니다 ^^

python 코드 디버깅 문의

안녕하세요 min0님!아쉽게도 아마도 min0님이 원하시는 수준으로 로컬에서 정밀하게 체크해서 오류를 예방하고 서버에 올리는 방법은 없을겁니다. 대신 어느정도 로컬에서 충분히 오류를 예방할 수 있습니다. 문법의 경우 IDE 툴로 어느정도 체크가 가능합니다. 아래의 (1)과 (2) 에서 설치한 라이브러리 목록을 비교하자면(1) docker 로 올린 airflow 컨테이너들이 가지고 있는 라이브러리(2) 우리가 로컬에 pip install apache-airflow[celery]... 명령으로 설치했을 때 설치되는 라이브러리 (1)과 (2)의 라이브러리 목록이 서로 다릅니다. 보통 (1)이 더 다양한 라이브러리가 설치됩니다.대표적으로 pandas 라이브러리는 (1)에 기본 포함되어 설치되지만 (2)에는 설치돼있지 않습니다. 그래서 로컬 환경에서 IDE 툴로 개발하다보면 포함돼있지 않은 라이브러리는 인식하지 못해서 빨간줄 그어지기도 하죠. 그런것들은 별도로 pip install 명령으로 로컬에 설치해주시면 문법에러를 포함한 실수는 많이 줄일 수 있습니다. Airflow web에서 import 에러 뜨는 것들은 문법 에러이므로 IDE 툴만 잘 활용해도 import 에러는 많이 줄일 수 있습니다. 그 다음 정상적으로 import 잘 된 다음 실제 실행했을 때에도 문제없음을 보장하는 방법이 있을까? 이것은 사실 좀 어렵습니다. CLI 명령 중에서 airflow dags test 라는 CLI 명령이 있어서 이걸로 미리 수행해보고 (실제로 수행되지는 않음) 오류가 있는지 없는지 확인할 수는 있습니다. 하지만 우리의 실습 환경에서 이 명령을 수행하려면 컨테이너 내부에서 명령을 수행해야 하는데 이미 DAG작성을 마치고 git push를 마친 상태여야 합니다. 아마도 이 방식은 min0님이 원하는 절차는 아닐 것 같습니다 ^^ 그래서 import 가 잘 된 이후에 실제 수행까지 잘 될것이냐의 여부는 사실 한번 돌려봐야 합니다. min0님이 질문주신 챕터를 보니 Template 문법을 사용하는 부분인데, Template 문법을 쓸 때 String 형태로 '{{ xxxxx }}' 이런식으로 작성하다보니 저 string 부분이 정상적으로 인식될지 안될지 여부는 실제 돌려볼 수 밖에 없습니다. 현업에서는 보통 개발 서버와 운영 서버를 분리해서 운영하므로 개발에서 테스트해보고 완성된 dag을 운영 branch에 넘깁니다. (물론 이 방식이 쉽지는 않습니다. 개발과 운영 데이터가 서로 다르기도 하고 운영에 필요한 소스나 타겟 시스템 정보들을 개발에도 똑같이 방화벽/계정 등 뚫어야 하는 기반 작업이 필요한 일입니다) 결론적으로DAG import 에러 뜨는 것을 방지하는 것은 IDE 툴에 의존해서 최대한 문법 에러를 줄인다.Import 가 잘 된 이후에는 실제 한번 수행해봐야 알 수 있다.정도로 정리하면 될까요?

Airflow 3.* 버전 수강생 Chapter 18 수강

안녕하세요 diazepam57님!결론부터 말씀드리자면 섹션 18부터 들으시는게 좋습니다. 섹션 18(~2.10.5) 와 섹션19(~3.0) 내용은 겹치거나 중복되는게 거의 없습니다. Airflow 2.10.5 까지의 업데이트 내용은 Airflow 3.0에서도 모두 유효한 내용입니다. 참고로 Airflow 3.0 업데이트 내용은 섹션 18을 내용을 알고있다는 가정하에 수록된 챕터도 있기 때문에 가급적 순서대로 들으시길 권장드려요!

email operator 에러

안녕하세요 소피new 님!확인해보니 Airflow 3.0 되면서부터 지금 방식의 Email 전송은 Deprecated 되었습니다.미처 저도 확인하지 못했던 사항이네요저도 얼릉 좀 테스트해보고 다시 안내드릴께요 ^-^

update 부분 강의 질문

안녕하세요 nathan님 오랜만입니다 ^^좋은 말씀 주셔서 감사드려요.그리고 문의주신 내용 관련해선 일단 2.10부터 들으시는걸 권장드립니다. 2.10.5 업데이트 관련 내용은 2.10.5만의 내용이 아니라 2.5부터 2.10 까지의 변경사항들을 모두 다루고 있습니다. 그래서 이거먼저 듣고 3.0 업데이트 내용을 들으시는게 좋을듯해요.참고로 3.0 업데이트 내용은 2.10 업데이트 내용을 들으셨다는 가정하에 설명드리는 부분들이 꽤 있슺니다. 그래서 2.10 업데이트 부분부터 들으시면 됩니다 ^^화이팅입니다 !

spark01 인스턴스 생성시 문제점 발생

안녕하세요 syjo님!정말 사라졌네요. 25년 4월 경에 바꼈나봅니다.일단 ubuntu OS 이기만 하면 명령어는 다른 것은 거의 없어서 22.04 LTS 로 골라주시면 될 것 같습니다. 수업노트에도 추가해놓을께요.알려주셔서 감사합니다 ^-^

python auto_commit_consumer.py 실행 이후

안녕하세요 syjo 님!실행했을 때 어떤 에러가 뜨는지 캡처해서 공유 부탁드립니다.

example_bash_operator 안보임 현상

안녕하세요 yjs7298님 airflow 3.0 update가 되면서 해당 example dag 은 사라진것 같습니다. 대신 DAG 중에서 example_complex 이걸로 한번 보시겠어요? 이 dag이 bash operator를 사용하고 있는 example 이어서 이걸로 보셔도 될 것 같습니다.변경 사항은 제가 수업노트에 추가해놓도록 할께요. 알려주셔서 감사합니다!