Airflow 마스터 클래스대시보드

김현진

2024-09-13366714

안녕하세요. 촤고급설탕님! 음 하둡과 연동하는건 사실 너무 쉬워서 따로 강의를 찍을 것고 없지 않을까합니다. Airflow에서 제공하는 hdfs hook도 있고 직접 오퍼레이터를 만들어서 사용하셔도 되는데 보통 hdfs의 네임노드 포트는 50070포트를 사용하므로 별도의 보안 접근제어를 적용하지 않았다면 50070포트로 네임노드 정보를 커넥션에 등록해두고 명령을 수행하면 응답이 옵니다. 다만 hdfs는 보통 데이터노드들을 클러스터 서버들의 hosts파일에 등록해두고 쓰기 때문에 네임노드가 리턴해주는 호스트 목록을 airflow가 인식할 수 있도록 airflow worker 노드들의 hosts 파일에도 동일하게 셋팅해주시면 큰 문제없이 응답을 받을수있습니다. 혹시 사용하다가 궁금하신거 있으시면 강의 질문에 남겨주심 성심성의껏 답변 남겨드릴께요 ^^

김현진

2024-04-06331075

안녕하세요 유영재님 이미지 처리시 파이썬을 이용한다면 airflow 사용이 가능합니다. 다른 언어를 이용해 처리한다고 해도 shell 명령을 통해 잡 실행이 가능하므로 airflow로 안될건 없습니다. 혹시 어떤 박업을 하려고 하시는지 남갸주시면 더 자세히 답변드릴 수 있을 것 같습니다. ^^ 감사합니다

김현진

2024-01-17311567

안녕하세요 hyoseok BANG 님 ! 답변이 조금 늦었네요 . 실습은 모두 도커 컨테이너 내부이므로 WSL 인지, Mac OS인지는 크게 중요하지는 않습니다만, MacOS 로컬환경에서 파이썬을 이용하여 pip install airflow 설치하는 과정이 필요합니다. (로컬 환경에서 airflow를 수행하는 것은 아니지만 DAG 코드 작성시 라이브러리 참조를 위해 airflow를 설치합니다) 그리고 MacOS 로컬에 Airflow를 먼저 설치해보시겠어요? Airflow 공식 홈페이지에 가보면 현재 airflow 버전은 2.8.0 까지 올라와있고, 도커 컨테이너의 파이썬 버전은 3.8 버전이 사용됩니다. 그리고 설치는 아래 명령으로 설치 가능합니다. pip install "apache-airflow[celery]==2.8.0" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.8.0/constraints-3.8.txt" 다만 이 과정 중 에러 발생하는 경우가 있는 걸로 보입니다. (google-re2 라이브러리 의존성 에러) 만약 에러가 발생한다면 파이썬 3.9 인터프리터를 설치하시고 아래 constraints-3.9 지정해서 설치해보셔야 할거에요. pip install "apache-airflow[celery]==2.8.0" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.8.0/constraints-3.9.txt" 이 과정까지 이상없이 진행되면 MacOS로 실습하는데 지장 없습니다.

김현진

2023-11-08294586

안녕하세요 Allen님 아쉽지만 WIPS 로그 데이터는 다루지 않습니다. 보안 파트는 별도로 다루지 않아서 참고 부탁드립니다.

김현진

2023-09-10284332

안녕하세요 이수화님 반겨주셔서 감사합니다 ^^ 아쉽지만 postgresql db에 대한 자세한 내용은 다루지 않습니다. Airflow의 기본 메타 DB가 postgres이긴한데, postgres와 관련한 실습내용으로는 1. 메타DB에 접속해보고 2. 도커로 postgres 컨테이너를 별도로 띄워서 3. 서울시 공공데이터 API 호출 결과를 데이터베이스에 저장 및 SELECT 문을 수행해보는 정도입니다. 수강에 참고해주세요 ^^