airflow.cfg 변경

Question

안녕하세요 강사님

airflow config를 변경하기 위해 시도해보았는데
이렇게 expose를 false->true로 변경하여도 airflow web에서는 변경되지 않아서 혹시 어디가 잘못 되었는지 문의드립니다

그리고 dag인식이 느린 것 같아 dag_dir_list 값을 100으로 변경하였는데 cpu만 괜찮다면 다른 변수들은 수정할 필요가 없을까요?

김현진 · Answer

안녕하세요 kosa 님!

실습 환경대로 docker-compose.yaml 이용해서 올리고 있죠?

(컨테이너 안으로 들어가서 직접 airflow.cfg 수정하더라도 컨테이너 재기동이 필요한데 재기동 하는 순간 수정한게 사라지므로 의미없습니다)

그럼 변수명을 expose_config 라고 쓰면 안되고 바로 윗 줄 주석되어 있는 부분에 AIRFLOW__WEBSERVER__EXPOSE_CONFIG 라고 되어 있는 보이죠?

주석 해제 하시거나 저 이름으로 만들어주시면 됩니다.

참고로 docker-compose.yaml 파일에 작성할 때는 AIRFLOW__ 같은 접두사를 붙여서 작성하지만 airlfow.cfg 파일에 들어갈 때는 expose_config 이름으로 들어갑니다.

그리고 airflow 공식문서에 Environment Variable 항목을 보고 변수명 작성해주시면 됩니다.

그리고 DAG parsing 주기는 dag_dir_list_interval 파라미터로 주는데 이것도

AIRFLOW__SCHEDULER__ 를 붙여주셔야 해요.

그리고 스케줄러를 2개 이상 띄우지 않는다면 그 외 고려할 만한 부분은 없을 것 같네요.

답변이 되었을까요?

궁금한 건 또 언제든 질문주세요 ^^

인프런 커뮤니티 질문&답변