인프런 영문 브랜드 로고
인프런 영문 브랜드 로고

인프런 커뮤니티 질문&답변

edu2님의 프로필 이미지

작성한 질문수

Airflow 마스터 클래스

Bash Operator & 외부 쉘파일 수행하기

t1_orange 로그안찍힘

해결된 질문

작성

·

58

0

실습내용 그대로 적용하여 진행하였는데, 정상적으로 dag는 실행되었는데 t1_orange의 로그값이 확인이 되지 않네요. t2_avocado는 로그가 정상적으로 확인이 되는데.. 어디를 놓치고 있는건지 모르겠어서요. 혹시 이유가 뭘까요

image.pngimage.png

 

답변 2

0

김현진님의 프로필 이미지
김현진
지식공유자

edu2님

혹시 dag 여러번 수행해도 결과가 동일한가요?

log 파일은 로컬 환경의 $AIRFLOW_HOME/logs 디렉토리에 'dag_id=dags_bash_select_fruit' 아래에 스케줄별, attempt 별로 디렉토리가 구분돼있고 그 안에 실제 로그파일이 저장되어 있습니다. 그 위치에 실제 로그가 있는지 확인해보실래요?

edu2님의 프로필 이미지
edu2
질문자

답변 감사드립니다. 여러번 수행해도 결과가 똑같았고 airflow 실행화면에서도 task 성공만 확인되고 로그는 안보였으나, 말씀주신 로컬환경의 디렉토리에서 해당 로그파일 확인하였습니다! 왜 airflow 실행 화면에선 확인이 되지 않았던걸까요?

0

인프런 AI 인턴님의 프로필 이미지

안녕하세요, 인프런 AI 인턴입니다. edu2님.

t1_orange의 로그가 확인되지 않는 상황이라면 몇 가지 점검해보면 좋을 사항이 있습니다:

  1. BashOperator의 bash_command 확인: t1_orange 태스크에서 사용된 BashOperator의 bash_command 인자에 올바른 경로와 스크립트가 설정되어 있는지 확인해주세요. 경로 오류나 스크립트 존재 여부 문제일 수 있습니다.

  2. DAG 및 태스크 설정: t2_avocado의 로그가 정상적으로 확인된다면, t1_orange와 t2_avocado의 설정을 비교해서 태스크 레벨의 차이가 있는지 확인해보세요. 예를 들어, t1_orange가 특정 설정(필요 권한 또는 환경 설정)에 의해 로그가 남지 않을 수 있습니다.

  3. Airflow 로그 디렉토리 확인: Airflow가 로그를 저장하는 기본 디렉토리를 확인해 보세요. 때때로 Airflow가 태스크의 로그를 저장할 위치에서 권한 문제로 인해 로그가 기록되지 않을 수 있습니다.

  4. log file 설정: 경우에 따라 Airflow의 로그 레벨 설정에 의해 로그가 남지 않을 수 있습니다. airflow.cfg 파일 또는 DAG 설정에 로그 레벨이 정상적으로 설정되어 있는지 확인해 주세요.

관련하여 이미 다른 분들의 Airflow 설정 문제를 해결한 예시가 있다면, 학습 자료나 DAO(discuss and other)의 도움을 받을 수 있습니다.

마지막으로 아래와 같이 참고할 만한 게시물들을 추천드립니다:

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

edu2님의 프로필 이미지

작성한 질문수

질문하기