실리콘밸리 데이터 리더가 알려주는 Airflow 기초

Name: 실리콘밸리 데이터 리더가 알려주는 Airflow 기초
Price: 132000 KRW

AI 시대가 도래하면서, 데이터 파이프라인 구성은 기업 경쟁력을 좌우하는 핵심 역량으로 자리 잡았습니다. 가장 널리 사용되는 Airflow를 활용해 효율적인 데이터 파이프라인을 구축하는 노하우를, 실전 경험과 풍부한 강의 경력을 지닌 실리콘밸리 전문가(前 유데미 데이터팀 헤드, 現 산호세 주립대 데이터 석사 과정 교수)에게 직접 배워보세요.

(5.0) 수강평 3개

수강생 101명

한기용

airflow snowflake SQL Python

초급자를 위해 준비한
[데이터 엔지니어링, airflow] 강의입니다.

이런 걸 배울 수 있어요

AIrflow+Snowflake+Docker 기반의 데이터 파이프라인 구축
데이터 실무에서 바로 활용할 수 있는 실용적인 SQL과 파이썬 스킬

Airflow는 유연한 스케줄링과 태스크 관리를 통해 복잡한 데이터 흐름을 자동화하고, 정확하고 신뢰할 수 있는 데이터 수집을 가능하게 합니다. Snowflake는 클라우드 기반의 강력한 데이터 웨어하우스로, 대량의 데이터를 빠르게 처리하고 확장할 수 있어 다양한 비즈니스 환경에서 안정적인 데이터 운영을 지원합니다.

이 강의에서는 Airflow의 워크플로우 자동화 기능과 Snowflake의 확장성과 성능을 결합하여, 효율적인 데이터 파이프라인을 설계하고 운영하는 방법을 배웁니다. 복잡한 인프라 설정 없이도 데이터 수집부터 처리, 저장, 활용까지 하나의 흐름으로 연결하는 데이터 엔지니어링의 핵심 기술을 익힐 수 있습니다.

수강 후에는

데이터 조직의 미션과 데이터 엔지니어링의 역할이 무엇인지 알 수 있습니다.
데이터 인프라를 구성하는 데이터 웨어하우스와 데이터 파이프라인에 대해 알게 됩니다.
- 이 과정에서 Snowflake라는 데이터 웨어하우스를 여러분의 스킬셋에 추가할 수 있습니다.
- 데이터 파이프라인을 작성, 운영함에 있어 정말 도움이 되는 모범 사례들에 대해 배웁니다.
데이터 파이프라인 작성/운영 프레임웍으로 가장 인기 높은 Airflow를 바탕으로 다양한 데이터 파이프라인을 작성할 수 있습니다.
- 전체 업데이트, 증분 업데이트, 백필 (Backfill), 모니터링 등의 고급 개념도 숙지합니다.
Python과 SQL이 어떤 형태로 데이터 파이프라인 작성에 사용되는지 실전 경험을 통해 데이터를 다루는 사람으로서 역량이 올라갑니다.

안녕하세요. 30년차 실리콘밸리 데이터 전문가 한기용입니다. 삼성전자에서 첫 커리어를 시작한 이후, 31살의 나이에 실리콘밸리로 떠났습니다. 유데미 (2021년 나스닥 상장), 폴리보어 (2015년 야후 인수) 등의 조직에서 데이터 팀을 빌딩하고 다양한 실리콘밸리와 한국 소재 기업 대상으로 데이터 자문을 하며 쌓은 노하우와 실리콘 밸리 취업률 1위를 자랑하는 산호세 주립대에서 석사 과정 학생들을 가르친 경험을 바탕으로 데이터 사이언티스트를 위한 필수 스킬을 공유합니다.

실습 환경

Docker를 기준으로 Airflow를 실행합니다. 강의 내에서 Docker에 대해 소개하고 설치 과정도 설명드립니다.
데이터 웨어하우스로는 Snowflake의 무료 시험판을 사용합니다. 30일 혹은 $400 크레딧 안에서 무료 사용이 가능한데 크레딧 카드 입력이 필요 없고 무료 시험이 끝나도 다시 문제 없이 다시 무료 시험을 할 수 있습니다 (단 환경을 새로 설정해야 합니다)
데이터 파이프라인 코딩 도입부에 Google Colab을 사용합니다.

이런 분들께
추천드려요!

학습 대상은
누구일까요?

데이터 엔지니어로 일하고 있거나 일하고 싶은 사람
데이터 관련 파이프라인 일을 하거나 하고 싶은 사람
데이터 관련 업무/프로젝트에 호기심이 있는 사람

선수 지식,
필요할까요?

Python (초급)
SQL (초급)

안녕하세요
한기용입니다.

734

명

수강생

개

수강평

개

답변

4.8

점

강의 평점

개

강의

컴퓨터 공학 석사 후 삼성전자에서 시작된 커리어가 친구덕에 실리콘밸리로 이어져 지난 29년간 13개의 다양한 스테이지의 회사를 다녔습니다 (창업, 대기업들, 다수의 스타트업들).

야후: 엔지니어링 디렉터로 검색엔진 개발.
유데미. 데이터팀을 처음 만들어 30명까지 성장. 2021년 10월에 나스닥 상장
삼성전자
...

중간에 11개월 쉬어보기도 했고 본의 아니게 엔젤투자자(Chartmetric, Goodtime.io, Select Star, EO, 비지니스 캔버스, ...), 어드바이저(몰로코, 블라인드, 월급쟁이부자들, ...), 컨설팅(SK텔레콤, 현대카드, 이마트 등등) 등의 역할을 하면서 나만의 브랜드를 만들었습니다. 실패를 실패가 아닌 교훈으로 보는 긍정의 힘과 꾸준함이라는 복리의 힘을 믿습니다.

https://www.linkedin.com/in/keeyonghan/

유투브 채널

월급쟁이부자들 강의

커리큘럼

전체

67개 ∙ (11시간 40분)

해당 강의에서 제공:

수업자료

섹션 1. 강의 소개

2개 ∙ (14분)

1. 강사 소개
05:13
2. 강의 소개
09:23

섹션 2. 데이터 팀과 데이터 엔지니어링 소개

5개 ∙ (59분)

3. 데이터 팀의 역할 소개
10:14
4. 데이터 인프라 소개
15:37
5. 데이터 엔지니어의 역할
16:22
6. 데이터 파이프라인 소개
12:38
7. 데이터 시스템 예제
05:02

섹션 3. Snowflake 소개와 셋업

4개 ∙ (42분)

8. Snowflake 소개
15:03
9. Snowflake 무료 시험판 실행
06:21
10. Snowflake 환경 익히기
13:58
11. Snowflake 환경 익히기 실습
06:45

섹션 4. 데이터 파이프라인 실습

6개 ∙ (1시간 6분)

섹션 5. Airflow: 데이터 파이프라인 프레임워크

2개 ∙ (17분)

섹션 6. Docker 기반 Airflow 설치

7개 ∙ (1시간 6분)

섹션 7. Airflow 프로그래밍 맛보기

16개 ∙ (2시간 59분)

섹션 8. Airflow 기초 프로그래밍

9개 ∙ (1시간 41분)

섹션 9. Airflow 심화 프로그래밍

13개 ∙ (2시간 19분)

섹션 10. 마무리와 다음 스텝

3개 ∙ (12분)

강의 게시일: 2025. 02. 28.

마지막 업데이트일: 2025. 06. 02.

수강평

전체

3개

5.0

3개의 수강평

horongt
수강평 1
∙
평균 평점 5.0
2025. 03. 23.
5
100% 수강 후 작성
I've finally completed the course!! I was able to gain a lot technically, but the overall concepts of data engineering that the instructor took the time to explain were really helpful (content from Section 2, the future of data engineering). Through this, I was able to gain great insights into how to design pipelines and what technology stack to choose. Also, I liked that the instructor mentioned the concerns that data engineers should have from time to time during the lecture. In addition, the lecture itself was created to allow you to learn practical tips and theoretical parts in a balanced way, so I liked the part where they tell you exactly what you need to know and leave the rest to the person studying. Thank you for the great lecture!!
- keeyonghan9539
  지식공유자
  2025. 03. 23.
  Thank you for the kind review. I also have an SQL course created from a data analysis/utilization perspective. I'm planning to release a course related to Spark by early April, so please check that out later.
- horongt
  2025. 03. 26.
  Okay!! I can listen to the SQL lecture while waiting for the Spark lecture!
pst54016539
수강평 1
∙
평균 평점 5.0
2025. 05. 19.
5
31% 수강 후 작성
mscsy01049265
수강평 2
∙
평균 평점 4.5
2025. 05. 21.
5
33% 수강 후 작성

한기용님의 다른 강의

지식공유자님의 다른 강의를 만나보세요!

Big Data Processing (Spark) as Told by a Silicon Valley Leader

keeyonghan9539

How is processing big data different from processing data with Pandas? Let's learn about Spark, an essential framework for big data processing.

초급

Apache Spark, pyspark, Pandas

SQL Basics from a Silicon Valley Data Leader

keeyonghan9539

If you work with data, SQL is a fundamental skill you must know. In this course, we will learn SQL from a data analysis perspective, focusing on hands-on practice. The practice will be conducted in Google Colab using DuckDB.

초급

SQL, Data literacy, Data Engineering

비슷한 강의

같은 분야의 다른 강의를 만나보세요!

Big Data Processing (Spark) as Told by a Silicon Valley Leader

keeyonghan9539

How is processing big data different from processing data with Pandas? Let's learn about Spark, an essential framework for big data processing.

초급

Apache Spark, pyspark, Pandas

SQL Basics from a Silicon Valley Data Leader

keeyonghan9539

초급

SQL, Data literacy, Data Engineering

Practical Data Science Part 2. Data Preprocessing

hjkim3

Learn why and how to handle data exploration (EDA), data cleaning, scaling, outlier handling, log transformation, and categorical encoding in real-world applications. You will also learn how to merge tabular data and process (unstructured) time series data.

초급

Python

GA4 BigQuery Introduction for Marketers and Planners

ga4

Introduce methods for utilizing GA4 data in Bigquery. Using the GA4 Bigquery demo data of the Google Merchandise Store (https://www.googlemerchandisestore.com/), which is publicly available in Bigquery, this introduces how marketers and planners can easily utilize GA4 Bigquery data, along with hands-on practice of basic SQL queries.

입문

SQL, bigquery, GA4

[Renewal] First-time MongoDB and NoSQL (Big Data) Database Bootcamp [From Introduction to Utilization] (Updated)

funcoding

You will learn NoSQL technology, one of the basic technologies of full stack and data science technology used in the latest startups, which can handle big data. MongoDB is the easiest and fastest NoSQL technology to use. In this lecture, you will learn the basics of MongoDB in a short period of time and learn how to use MongoDB with Python.

초급

Python, MongoDB, DBMS/RDBMS

[2025] SQLD 176 Problem Solutions for Those Who Find SQLD Questions Difficult

datacodelab

SQLD Yellow Book 176 Problem Solving Lecture for those who studied but can't solve problems. After completing the course, you will become an expert beyond just passing. SQLD All-in-One Pass!

초급

SQL, SQLD, Big Data

Mastering Azure Data Fundamentals for Data Beginners (Special Lecture for Microsoft DP-900 Certification Preparation - 2025 Latest Content)

daniellee

Providing content on core data concepts, relational data in Azure, non-relational data in Azure, and analytical workloads in Azure, combining theory and practice, this offers a meaningful educational opportunity to not only obtain certification but also take the first step towards becoming a data professional.

입문

SQL, Big Data, Data Engineering

₩132,000