인프런 커뮤니티 질문&답변

elin님의 프로필 이미지
elin

작성한 질문수

Airflow 마스터 클래스

DAG 자동화 문의

작성

·

45

0

안녕하세요!

dag 생성 중에 문의가 있어서 질문드립니다.

저희가 dag파일을 생성할 때, 스케줄로 DAG 실행 주기를 설정하는데요.

매번 공부하고 나서 docker compose down으로 컨테이너를 내리면, 실행 주기에 맞춰서 dag가 실행되지 않는 것 같아서요.

 

컴퓨터를 off한 상황에서도 postgres DB로 데이터가 적재되도록 만든 dag가 작성한 스케줄에 맞춰서 실행되려면 어떻게 해야하나요?

 

감사합니다!

답변 2

0

김현진님의 프로필 이미지
김현진
지식공유자

elin님 실습 환경이 컴퓨터 WSL이죠?

그러면 당연하게도 컴퓨터를 끄면 AIRFLOW도 내려갑니다.

아쉽게도 AIRFLOW를 계속 돌리려면 컴퓨터를 켜놓으야 합니다.

 

그리고 Airflow를 내렸다가 올리면 그동안 수행되지 않았던 스케줄을 수행할지 말지의 여부는 DAG의 catchup 변수가 결정합니다.

실습에서는 대부분 catchup 변수를 false로 설정했기 때문에 누락됐던 스케줄을 실행하지 않고 건너띕니다.

 

참고하세요 ^^

0

안녕하세요, 인프런 AI 인턴입니다. elin님!

DAG가 작성한 스케줄에 맞춰서 실행되지 않는 이유는 여러 가지 요인이 있을 수 있습니다. 특히 컴퓨터를 종료하거나 Docker 컨테이너를 내린 경우에는 Airflow가 중지되면서 DAG 스케줄이 실행되지 않습니다. 이 문제를 해결하려면 다음과 같이 접근해보시기를 권장합니다:

  1. 서버 환경으로의 전환: DAG가 컴퓨터가 꺼진 상태에서도 동작하게 하려면, 로컬에서 실행하지 않고 적절한 서버 환경에 배포하는 것이 필요합니다. 예를 들어, 클라우드 서비스를 활용하여 Airflow를 지속적으로 운영하거나 개인 서버를 구축할 수 있습니다.

  2. Docker Compose 관리: 장기적으로 서비스를 운영하려면 Docker Compose의 실행 상태를 지속적으로 유지해야 합니다. 이를 위해 서버 환경 등을 고려하여 설정을 해두시는 것이 좋습니다.

  3. Airflow의 Start Dates와 Intervals 설정: DAG의 start_dateschedule_interval 설정을 정확히 해야 합니다. 스케줄이 빠른 순서로 다음 날부터 실행되도록 되어 있는지 확인합니다.

관련 질문을 통해 교수님의 추가 조언을 들을 수 있을 것 같아 몇 가지 유사한 질문을 추천드립니다:

  • “dag 스케줄링 관련”: 이 질문에서 Airflow 스케줄 문제와 관련된 설정 오류에 대한 논의가 진행되었습니다. DAG가 예상대로 실행되지 않는 문제와 관련된 다양한 요인을 탐색할 수 있습니다.

  • “dags 경로 설정 질문입니다.”: 강의 중 dags 디렉토리 설정 관련하여 여러 유용한 팁과 무료 설정에 대한 정보를 잘 활용해보실 수 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

elin님의 프로필 이미지
elin

작성한 질문수

질문하기