초급자를 위해 준비한
[데이터 엔지니어링] 강의입니다.
이런 걸
배워요!
Airflow 개념과 기초
Airflow 기반 파이프라인 개발
Airflow로 자동 Email 전송하기
Airflow를 활용한 공공데이터 API 호출 및 시각화
Airflow & 카카오, Slack을 활용한 메시지 알람
Airflow로 ChatGPT를 활용하기
데이터 파이프라인, Airflow로 고민 끝 📊
처음 시작하는 Airflow의 모든 것
- Airflow를 많이 쓴다던데 Airflow가 뭐지?
- Airflow로 무엇을 할 수 있지?
- Airflow로 파이프라인을 어떻게 만들 수 있지?
- 다른 솔루션과 어떻게 연계하고 데이터를 추출, 저장하지?
- Airflow로 카카오톡, Slack 같은 메신저를 어떻게 연동하지?
- Airflow로 ChatGPT와 연계하여 블로그 자동 글쓰기가 가능할까?
👉 Apache Airflow(아파치 에어플로)의 기본 개념부터 대용량 환경에서 운영할 수 있는 아키텍처 구성까지 모든 것을 담았습니다.
👉 약 60개 가량의 실습파일은 Github에서 다운받을 수 있습니다.
그런데, 왜 Airflow일까요?
Airflow는 추출, 가공, 저장, 분석 등이 이루어지는 데이터 파이프라인을 만들고 관리하는 핵심적인 오케스트레이션 솔루션입니다.
Airflow는 유사 솔루션 중에서도 가장 인기가 많은 파이프라인 관리 도구이며, 도입 사례 또한 계속해서 증가하고 있습니다.
이런 분들께 강의를 추천합니다
데이터 엔지니어를 희망하시는 분
데이터 파이프라인 또는 업무 자동화가 필요하신 분
Airflow를 쓰고 있지만 더 깊이 알고 싶은 분무엇을 배울 수 있을까요?
Airflow 기본기
Airflow의 개념과 워크플로를 만드는 방법 등 기본적인 사용법을 실습을 통해 배웁니다. 60개 정도의 실습 파일로 차근차근 배울 수 있도록 구성하였습니다.
파이프라인 구성
스케줄링 관리를 통한 이메일 전송 등 Airflow를 이용해 DAG 파이프라인을 개발하고 실행하는 과정을 학습합니다.
데이터 수집
서울시 공공데이터 포털에서 API로 데이터를 받아 저장하는 파이프라인을 구성해봅니다.
모니터링 및 연동
카카오톡, 슬랙(Slack) 메신저 앱과 연동해 에러메시지, DAG 현황 등 알람(Alarm) 받기를 실습해 봅니다.
데이터 시각화
R 언어를 이용하여 시각화할 수 있는 R Shiny에 대한 개념을 소개합니다. 서울시공공데이터포털에서 받은 데이터를 이용하여 시각화를 진행해봅니다.
아키텍처
Airflow의 여러 배포 방식 및 아키텍처에 대해 배우고, 대용량 환경에서 안정적으로 운영할 수 있는 방법을 익힙니다.
업무 자동화
ChatGPT에 대한 개념을 소개하고 파이썬(Python) API와 ChatGPT를 연계하는 방법을 알아봅니다. 파이썬으로 주식정보를 불러올 수 있는 방법을 통해 주식 급등 종목에 대해 ChatGPT가 소개하는 내용을 블로그에 자동 포스팅해보는 자동화를 실습해봅니다.
수강 전 다음 내용을 알고 있으면 좋습니다 ✨
1. Python 기본 지식
- Airflow는 파이프라인을 Python 언어로 만듭니다. 그래서 Python을 어느 정도 할 줄 아셔야 합니다.
- 하지만 너무 깊은 지식을 요하지는 않습니다. for, if, while 등 기본적인 제어 문법과 리스트, 딕셔너리를 잘 다루실 수 있는 정도면 충분히 따라올 수 있습니다.
- 후반부에는 클래스 상속 등의 내용이 나오지만 너무 걱정하지 마세요. 모두 설명해 드리고 넘어갑니다.
2. Docker 및 Docker Compose
- 기본적인 실습 환경은 Windows의 WSL 입니다.
- 그리고 Airflow는 Docker(도커)를 이용하여 설치되고 Docker Compose(도커 컴포즈)로 여러 실습을 진행하므로 Docker를 다룰 줄 안다면 수월합니다.
- 그러나 이것도 걱정하지 않으셔도 됩니다. Docker 개념과 사용방법까지 모두 알려드립니다.
3. SQL
- 기본적인 SQL 문법 (SELECT ... FROM ... WHERE) 를 알고 있으면 좋습니다.
- 실습 과정 중 종종 나오는 SQL 문법은 모두 설명해 드립니다.
실습 환경을 확인해주세요 ✨
- 실습하실 PC or 노트북은 8GB 이상의 메모리를 갖추시는 걸 권장합니다.
- Airflow는 Windows에 직접 설치가 되지 않기 때문에 기본적으로 Windows의 WSL 을 이용하여 Airflow를 설치하고 실습합니다. (WSL 설치 과정은 모두 설명드립니다 😊)
- macOS 사용하시는 분들은 별도 준비 사항 없이 수강 가능합니다.
이 강의를 만든 사람 ✒️
김현진
- 정보관리기술사
- 현 LG CNS 데이터 엔지니어
- 패스트캠퍼스 이어드림 3기(2023) 강사
- 카톨릭 관동대학교 인공지능 과정 강사 (2023)
- 멀티캠퍼스 데이터 사이언스 멘토 (2022)
Q&A 💬
Q. 강의는 어떤 식으로 진행하나요?
Airflow에서 워크플로우를 DAG이라고 하는데, DAG을 함께 작성해보는 방식으로 실습합니다. 기본 개념을 설명하는 시간 외에는 기본적으로 각 장마다 실습을 진행합니다.
실습 파일이 긴 경우에는 제가 미리 DAG 파일을 만들어 놓고, 로직을 설명하는 방식으로 진행합니다.
Q. 실습 파일과 학습 자료를 다운로드받을 수 있나요?
물론입니다! Github에서 실습 파일을 모두 받을 수 있습니다. Git 사용법을 잘 모르신다구요? Git 사용법도 알려드립니다.
그리고 PDF 기반 학습 자료도 모두 제공해드립니다. 섹션 0 - 강의자료 다운로드에서 받으시면 됩니다.
Q. 실습 난이도는 어느 정도인가요?
초반에는 파이썬의 기본적인 문법만 알아도 이해할 수 있으나 후반부로 갈수록 난이도는 조금 어려울 수 있기에 파이썬의 클래스, 상속과 같은 개념을 알면 도움이 됩니다. 그렇지만 걱정 마세요. 실습 내용은 충분히 설명드리고 진행합니다.
Q. Airflow 배우면 무엇을 할 수 있나요?
Bash Shell, 파이썬으로 할 수 있는 것은 모두 할 수 있습니다. 무언가를 Airflow로 할 수 있는지가 궁금하다면, 그것을 Bash Shell 또는 파이썬 언어로 처리할 수 있는지를 먼저 알아보세요. Bash Shell 또는 파이썬 언어로 할 수 있다면 Airflow로 할 수 있습니다.
이런 분들께
추천드려요!
학습 대상은
누구일까요?
데이터 엔지니어에 대해 배우고 싶은 분
Airflow가 궁금하신 분
Airflow를 쓰고 있긴 하지만 잘 활용하지 못하는 분
데이터 파이프라인 구축과 관리가 필요한 분
선수 지식,
필요할까요?
Python 기초문법
Docker & Docker Compose 사용법
SQL 기초 문법(SELECT, FROM)
안녕하세요
김현진입니다.
안녕하세요
LG CNS 데이터 엔지니어 김현진 입니다.
정보관리기술사를 취득한 이후 지금까지 얻은 지식을 많은 사람들에게 공유하고,
특히 데이터 엔지니어를 희망하고 공부하고 싶은 분 들에게 도움이 되고자 컨텐츠를 제작하고 있습니다.
첫 컨텐츠는 Airflow 마스터 클래스로써
데이터 파이프라인을 만들고 관리할 수 있는 핵심 도구를 초보자도 이해하기 쉽게 만들었습니다.
만나서 반갑습니다 ^^
Contact: hjkim_sun@naver.com
공동 지식공유자
커리큘럼
전체
85개 ∙ (20시간 4분)
가 제공되는 강의입니다.
강의 소개
12:29
Airflow 소개
07:16
WSL설치
16:44
도커&에어플로우설치
17:18
개발환경구성(전체설명, 사양 설명)
04:52
개발환경구성(파이썬 인터프리터설치)
05:58
개발환경구성(Vscode 설치)
11:39
Airflow library 설치
05:50
cron 스케줄 설명
08:54
task 연결하기
13:32