인프런 커뮤니티 질문&답변

jihoon님의 프로필 이미지

작성한 질문수

Airflow 마스터 클래스

Python 오퍼레이터 기본

auto refresh

23.10.05 22:12 작성

·

463

0

안녕하세요.

강의 잘 듣고 있습니다.

 

저는 Mac환경에서 수강중이고,

airflow 2.7.1을 사용중입니다.

 

강의에서 dag을 pull하고 2~3분 정도 기다리면 auto-refresh되어 compose를 재실행하지 않아도 된다고 하셨는데,

제 경우엔 auto-refresh가 된 이후에도 새로 추가된 dag이 리스트에 나타나지 않더라구요.

 

그래서 매번 compose를 재실행하고 있는데,

혹시 의심가는 원인이 있다면 말씀해주실 수 있으실까요?

구글링을 해봐도 해결방법을 찾기 쉽지 않아서 질문 남깁니다ㅜㅜ

답변 2

1

김현진님의 프로필 이미지
김현진
지식공유자

2023. 10. 06. 21:17

안녕하세요 jihoon님!

음.. 일단 질문주신걸로는 원인을 추정하기가 쉽지 않네요.

몇 가지 테스트를 해보면서 원인을 찾아봐야 할 듯 합니다.

git pull 을 통해 새로운 dag을 local에서 받은 후에

스케줄러 컨테이너 안으로 들어가서 /opt/airflow/dags 폴더에 해당 파일이 보이는지 확인해보시겠어요?

 

스케줄러 컨테이너 안으로 들어가는 것은 sudo docker ps 명령으로 컨테이너 목록을 확인한 후

sudo docker exec -it {스케줄러컨테이너ID} bash 명령으로 들어갈 수 있습니다.

 

0

jihoon님의 프로필 이미지
jihoon
질문자

2023. 10. 11. 23:19

답변 감사합니다!!

 

상위 폴더를 airflow

하위 폴더를 airflow

 

동일한 이름으로 설정해서 그랬나봐요.

상위 폴더 이름을 바꿔주니까 인식하네요.

감사합니다!

jihoon님의 프로필 이미지

작성한 질문수

질문하기