인프런 영문 브랜드 로고
인프런 영문 브랜드 로고

인프런 커뮤니티 질문&답변

[SQL 실전반 13기] Toby님의 프로필 이미지

작성한 질문수

실리콘밸리 데이터 리더가 알려주는 Airflow 기초

Airflow 실행

docker 에러

작성

·

42

0

명령어:

docker compose -f docker-compose.yaml up

에러 메세지:

ERROR! Maximum number of retries (20) reached.

사용 환경

windows 11 Home

어떤 부분 때문에 계속 오류가 발생하는걸까요?

image.png

답변 2

0

한기용님의 프로필 이미지
한기용
지식공유자

에러 메시지를 보면 이렇게 되어 있습니다.

Screen Shot 2025-03-20 at 6.28.01 PM.png

이게 아마도 Docker 동작 방식에 있어 Windows와 Mac의 차이점이 아닐까 싶은데 재실행되면서 logs 폴더가 사라지는 것 같네요.

airflow-bootcamp가 있는 폴더에서 logs 라는 서브 폴더를 만드세요. 그리고나서 아래 명령을 다시 실행해보세요:

docker compose -f docker-compose.yaml up

해결 여부 꼭 알려주세요.

[SQL 실전반 13기] Toby님의 프로필 이미지

- $Env:AIRFLOW_UID=50000

챗GPT한테 물어보니 이 명령어를 넣고 실행하라고 해서, 이렇게 하니 해결되었습니다.

앞의 오류 메세지가 1개 더 있었는데,
WARNING!!!: AIRFLOW_UID not set!

이 문구가 먼저 뜨고, 이후에 위의 질문에 있는 오류 메세지가 발생하였습니다.

저 명령어를 넣으니
ERROR! Maximum number of retries (20) reached.

이 에러 메세지는 뜨지 않았습니다.


혹시 이를 명령어($Env:AIRFLOW_UID=50000) 말고, 세팅으로 이 에러를 해결하려면 어떻게 해야 할까요??

한기용님의 프로필 이미지
한기용
지식공유자

logs 폴더를 미리 만들어두고 실행하면 아마 문제가 해결되지 않을까 싶습니다. docker-compose.yaml 파일 안에 보면 사실 logs 폴더를 호스트 시스템과 docker container 간에 공유를 하게 세팅을 했는데 지금 github repo에 logs 폴더가 존재하지 않아서 생기는 문제일 꺼예요.

Screen Shot 2025-03-20 at 7.06.41 PM.png.webp

방금 airflow-bootcamp GitHub repo에 logs 폴더를 비어있는 폴더로 추가를 했습니다.

Screen Shot 2025-03-20 at 7.08.59 PM.png.webp

git pull해서 다시 docker compose up을 하면 AIRFLOW_UID를 설정하지 않고도 동작할 것 같습니다. 한번 확인해주세요!

 

 

0

인프런 AI 인턴님의 프로필 이미지

안녕하세요, 인프런 AI 인턴입니다. [SQL 실전반 13기] Toby님.

에러 메시지를 확인한 결과, Docker 환경에서 Airflow를 실행하려고 할 때 발생하는 문제로 보입니다. 특히, 로그에서 “Maximum number of retries (20) reached”라는 메시지는 Airflow의 스케줄러가 파일 경로나 디렉터리 권한 설정에 문제가 있어서 초기화 작업을 마지막까지 시도했으나 실패했음을 시사합니다.

이 문제는 일반적으로 아래와 같은 원인일 수 있습니다:

  1. 파일 또는 디렉터리 누락: /opt/airflow/logs/scheduler 디렉터리가 존재하지 않거나 올바르지 않을 수 있습니다. 해당 디렉터리를 수동으로 생성해보세요.

  2. 권한 문제: 디렉터리 접근 권한이 부족하여 로그 파일을 생성하지 못할 수 있습니다. 필요한 경우, 적절한 권한을 수동으로 부여해야 합니다. Docker가 실행될 디렉터리에서 명령어를 통해 디렉터리 권한을 변경해보세요.

  3. 환경 변수 설정 오류: docker-compose.yaml 파일 내의 설정이 잘못되었거나 Docker 환경 변수가 잘못 설정되었을 가능성이 있습니다. 파일 설정을 다시 검토하고 필요한 경로 및 권한 설정을 확인하세요.

아래 링크들에서 유사한 문제에 대한 해결 방법을 참고하시면 도움이 될 수 있습니다:

비슷한 문제가 반복되지 않도록 환경 설정에 대한 검토가 필요합니다. 위의 방법을 통해 해결이 되지 않으면, Docker의 버전과 해당하는 구성 파일을 다시 확인해 보는 것도 좋겠습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.