인프런 커뮤니티 질문&답변

안녕하세요 답변 감사드립니다.

네 회사에서 Airflow 환경을 구축하려고 하여 로컬컴이 아닌 HPC에서 실습을 수행하려 합니다. airflow 는 말씀해주신 pip install 로 설치를했고 HPC는 Red hat 8.3 사용중입니다. 로컬컴 윈도우와 터널링을 하여 local host를 열어서 스케줄러 확인하고 있습니다. 현재 섹션2 수강중이고 선생님께서 다뤄주신 example dag들은 잘 돌아갑니다. 컨테이너에 관련해서는 언제부터 문제가 생길까요? 그 부분은 아직 제가 이해하지 못한 것 같습니다.

음 컨테이너에 Provider 라이브러리 설치하는 부분은 아래 챕터에서 다룹니다.

섹션 8 - 더 많은 Provider 확인 & Connection Type 추가하기

그리고 이 부분 진행시 문제가 생긴다기보다 도커 이미지 빌드 부분 실습이어서 Lim은 Lim 님의 환경에 맞게 변형해서 따라오셔야 한다는 의미입니다. 이 부분까지 따라오신 후 잘 안되시면 질문 남겨주세요 ^^

그리고 지금 airflow 웹 화면 보시면 상단에 SQLite DB사용중이라는 warining 메시지와 Sequantial Executor를 쓰고있다는 warning 메시지가 뜨고있지 않나요?

안녕하세요, 답변 감사드립니다! 해당 에러를 해결하기 위해 mySQL을 사용하고자 HPC에 mySQL 다운을 받았습니다. initialize 하고 , 비밀번호 설정을 하고

bin에 가서 mySQL을 실행하니 (./bin/mysql --host=localhost --socket="home/mysql/mysql.sock" -u root 비밀번호) mysql> 으로 떴습니다. (연결 된것이라고 판단하였습니다) airflow와 mySQL은 어떻게 연결할 수 있는지 조언 주시면 정말 감사하겠습니다! (airflow.cfg에 LocalExecutor라고 해놓으면 자동으로 연결이 되는건지, 혹은 매번 HPC를 로그인 할때마다 mySQL에 로그인을 해야하는건지, 더 나아가, HPC에서 mysql> 로그인이 되면 airflow에서 자동으로 mysql 을 읽을 수 있는건지 궁금합니다. 감사합니다!

안녕하세요 Lim님

답변이 늦었네요. mysql 을 사용하건 postgres를 사용하건 LocalExecutor라고 알아서 연결하진 않을거에요. 파라미터 중 DB 연결을 위한 파라미터가 있어요 (AIRFLOW__DATABASE__SQL_ALCHEMY_CONN)

mysql 사용하신다면 제가 한번 테스트해보고 결과 공유드릴께요. (시간이 좀 걸릴수도 있습니다 ^^)

Lim님

Redhat에서 테스트는 못해봤고 Ubuntu에서 테스트해봤는데

컨테이너 없이 Celery Executor로 구동하는 절차 추가했습니다. (mysql DB사용)

LocalExecutor보다는 Celery Executor 로 실습하는게 좋을 듯 합니다.

참고로 Celery Executor는 큐 서비스가 필요하고 (보통 Redis 사용) Redhat에서도 redis 설치는 가능할거에요.

아래 링크에 설치 절차 넣어놨습니다. 한번 확인해보세요.

Redhat OS Lib 설치가 좀 필요할 수 있습니다.

https://github.com/hjkim-sun/airflow/wiki/Docker-%EC%84%A4%EC%B9%98%EA%B0%80-%EB%B6%88%EA%B0%80%EB%8A%A5%ED%95%A0-%EA%B2%BD%EC%9A%B0