인프런 커뮤니티 질문&답변
작성한 질문수
dags 경로 설정 질문 있습니다.
해결된 질문
작성
·
349
1
안녕하세요!
현재 Bash operator DAG 만들기 & DAG 디렉토리 셋팅 강의를 수강하고 있습니다.
19분 50초 즈음 dags 폴더의 경로를 설정하는 과정에서 git repo 내의 dags를 지정하는 것에 궁금증이 생겨 질문을 작성하게 되었습니다.
만약 제가 다른 repo를 파서 새로운 dags 폴더를 만들게 되면, 그 때는 저 환경 설정을 다시 해야한다고 생각하는데, 이게 맞는지 궁금합니다. 다시 설정을 하지 않으려면, 설정한 dags 안에 모든 dag가 들어가야 하는데, 나중에 헷갈리지는 않을까 걱정이 되어 질문 드립니다.
덕분에 airflow 공부 하는 것이 기대가 됩니다. 좋은 강의 해주셔서 정말 감사합니다.
답변 1
1
안녕하세요 김민서님!
먼저 질문에 대해 답변드리자면
만약 제가 다른 repo를 파서 새로운 dags 폴더를 만들게 되면, 그 때는 저 환경 설정을 다시 해야한다고 생각하는데, 이게 맞는지 궁금합니다.
--> 맞습니다. 새로운 dag 폴더를 컨테이너와 연결하려면 docker-compose.yaml 파일 수정 후 재기동해주셔야 합니다.
혹시 민서님이 원하시는게 2개의 디렉토리를 각각 서로 다른 git repository와 연동하고, 두 디렉토리 모두 dags 폴더로써 인식하게끔 하고싶은 거라면 쉽게 해결 가능합니다.
에어플로우는 $AIRFLOW_HOME/dags 디렉토리내 여러 디렉토리를 두어도 그 안의 파일들 인식이 가능합니다.
WSL에서 $HOME/airflow/dags/git-repo1 디렉토리를 하나 만든 후 이 디렉토리를 git-repo1과 연동하고
$HOME/airflow/dags/git-repo2 디렉토리도 생성, git-repo2와 연동하게끔 하신다면
docker-compose.yaml 파일의 volumes 항목은 수업에 나온대로 놔두시면 됩니다.
그러면 컨테이너에서 봤을 때
/opt/airflow/dags
|----/git-repo1
|----/git-repo2이렇게 디렉토리가 구성될 것이고, 두 디렉토리 안의 dag 파일들을 모두 파싱합니다.
궁금증이 해결되셨을까요?
여러 디렉토리를 두는 것이 가능했군요!
답변해주셔서 정말 감사합니다. 덕분에 궁금중이 해결됐습니다!