8-2 trigger dag run 오류

Question

선생님 안녕하세요

8-2 강의에서 trigger dag run 이 제대로 작동하지 않아 질문드립니다.

강의에서 제공된 코드와 똑같이 작성을 해서 dag를 만들었는데, dags_trigger_dag_run_operator는 정상 작동을 하는데, dags_python_operator가 돌아가지 않습니다.

dag들은 잘 연결되어있거든요? 아래 그림에서 triggered dag 클릭하면 dags_python_operator로 넘어갑니다.

그런데 dags_python_operator에서는 실행 개수가 늘어나지 않고 그대로 입니다. 아래 그림에서 run id 에 manual 이라고 되어있는 것은 제가 이 dag를 직접 실행시켜서 그런 것이고, triggered 된 것이 아닙니다.

다만 dags_trigger_dag_run_operator 의 두번째 task에 이런 내용이 나오기는 합니다.

혹시 어떤 parameter가 좀 제대로 설정이 안되어있는 것일까요? 제 코드는 수업자료와 동일합니다.

김현진 · Answer

안녕하세요 Nathan 님

오랜만입니다 ^^

우선 캡쳐해주신 내용을 보니 dags_trigger_dag_run_operator 에서 첫 번째 task (start_task) 가 제대로 수행이 안된 것 같습니다. 정상적으로 success 된 걸로 보이나요? 로그로 봤을 때는 첫 번째 Task에 문제가 있어서 Trigger Dag 을 수행하는 두 번째 task가 제대로 수행되지 않은 것 같아요.

제가 수행해봤을 때는 아래처럼 두 번째 Task Details 에 특이사항은 없이 수행됩니다.

그리고 trigger 된 DAG은 아래처럼 정상 수행되어야 합니다.

우선 dags_trigger_dag_run_operator의 task 상태들 한번 캡쳐해서 올려주시겠어요? 그리고 코드도 혹시모르니 여기 한번 복붙 해주세요.

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. nathan님께서 겪고 계신 문제는 TriggerDagRunOperator가 제대로 작동했지만, 의도한 DAG가 시작되지 않는 상황입니다. 이는 주로 다음과 같은 원인에서 발생할 수 있습니다.

TriggerDagRunOperator 설정 오류: TriggerDagRunOperator가 특정 DAG의 시작을 트리거하기 위해 올바르게 설정되어야 합니다. trigger_dag_id가 올바른지 확인해 보세요. 목표 DAG의 dag_id가 잘못 입력되었다면 실행되지 않습니다.
DAG의 Catchup 설정: 목표 DAG의 catchup 옵션이 False로 설정되어 있는 경우, 예상하지 못한 결과를 가져올 수 있습니다. 실행마다 체크가 필요합니다.
Schedule Interval 설정: Trigger로 시작하는 DAG가 @once로 되어있는지 확인하세요. 그렇지 않으면 먼저 트리거된 후 기다릴 수 있습니다.
DAG의 Start Date: 시작 날짜가 너무 앞서있거나 아직 도래하지 않은 경우가 있을 수 있으니 확인이 필요합니다. start_date가 현재 날짜와 비교하여 유효한지 확인해 보세요.

다음과 같은 유사한 문제들에 대한 해결 방법이 도움이 될 수 있습니다. Airflow 마스터 클래스 - Trigger DAG Run 문제 이해하기을 참고해 주세요. 여기에 기록된 사용자 Q&A를 보면 비슷한 문제를 접근하고 해결하는 과정이 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변

8-2 trigger dag run 오류