인프런 커뮤니티 질문&답변

안녕하세요 강사님 강의 잘 보고 있습니다

다름이 아니라 특정 조건에서 task가 실행되지 않아 해결방법을 묻고자 글을 남깁니다.

task가 실행되지 않고 발생하는 log

*** Could not read served logs: Invalid URL 'http://:8793/log/dag_id=dags_get_data_python_operator/run_id=manual__2024-12-20T09:11:57.447383+00:00/task_id=refine_data_/attempt=1.log': No host supplied

branch에 따른 dag에 작성한 taskflow는 다음과 같습니다

• get_data_ >> check_dir_ >> get_yesterday_data_ >> refine_data_ >> delete_data

• get_data_ >> check_dir_ >> refine_data_ >> delete_data

batch 당일 데이터와 전날 데이터를 이용해서 spark를 이용해 정제하는 작업인데,

전날 데이터가 수집되어있지 않다면 수집하고나서 sparksubmit을 하도록 task를 구성했습니다.

전날 데이터가 없는 상태로 dag를 실행하면 전체task가 잘 실행이되고

전날데이터가 존재한다면 원하는 task 까지 skipped이 되고 해당 log가 나오네요 ㅠㅠ

task 플로우를 잘못 작성한 이유일까요 ?

 추가)

BranchPython task에 찍힌 log 입니다.