Inflearn brand logo image
Inflearn brand logo image
채널톡 아이콘
NEW
데이터 사이언스

/

데이터 엔지니어링

실리콘밸리 데이터 리더가 알려주는 Airflow 기초

AI 시대가 도래하면서, 데이터 파이프라인 구성은 기업 경쟁력을 좌우하는 핵심 역량으로 자리 잡았습니다. 가장 널리 사용되는 Airflow를 활용해 효율적인 데이터 파이프라인을 구축하는 노하우를, 실전 경험과 풍부한 강의 경력을 지닌 실리콘밸리 전문가(前 유데미 데이터팀 헤드, 現 산호세 주립대 데이터 석사 과정 교수)에게 직접 배워보세요.

52명 이 수강하고 있어요.

airflowsnowflakeSQLPython
Thumbnail

초급자를 위해 준비한
[데이터 엔지니어링, airflow] 강의입니다.

이런 걸 배울 수 있어요

  • AIrflow+Snowflake+Docker 기반의 데이터 파이프라인 구축

  • 데이터 실무에서 바로 활용할 수 있는 실용적인 SQL과 파이썬 스킬

실리콘밸리 데이터 엔지니어가 알려주는
최신 데이터 파이프라인 구축!

✅
실리콘밸리 30년차 데이터 엔지니어가 전하는 실무 노하우

✅
평점 4.9! 산호세 주립대 데이터 사이언스 전공생들이 극찬한 강의

✅
Airflow&Snowflake를 활용한 최신 데이터 파이프라인 설계 & 자동화

Airflow와 Snowflake로 만나는
현대 데이터 엔지니어링 아키텍처

데이터가 방대한 시대, 데이터 엔지니어링의 핵심은 데이터를 효율적으로 수집하고 가공하여 필요한 시점에 제공하는 것입니다. 이를 위해서는 자동화된 데이터 파이프라인이 필수적이며, Airflow와 Snowflake는 이 과정에서 강력한 도구로 활용됩니다.


Airflow는 유연한 스케줄링과 태스크 관리를 통해 복잡한 데이터 흐름을 자동화하고, 정확하고 신뢰할 수 있는 데이터 수집을 가능하게 합니다. Snowflake는 클라우드 기반의 강력한 데이터 웨어하우스로, 대량의 데이터를 빠르게 처리하고 확장할 수 있어 다양한 비즈니스 환경에서 안정적인 데이터 운영을 지원합니다.

이 강의에서는 Airflow의 워크플로우 자동화 기능과 Snowflake의 확장성과 성능을 결합하여, 효율적인 데이터 파이프라인을 설계하고 운영하는 방법을 배웁니다. 복잡한 인프라 설정 없이도 데이터 수집부터 처리, 저장, 활용까지 하나의 흐름으로 연결하는 데이터 엔지니어링의 핵심 기술을 익힐 수 있습니다.

이런 내용을 배워요

1⃣ Airflow + Snowflake + Docker로 실전 데이터 파이프라인 설계

2⃣ Airflow 환경 설정부터 ETL, DAG 관리, 자동화까지 한 번에 익히기

3⃣ 실전 예제로 데이터 흐름 최적화 & 운영 노하우 익히기

이런 분들께 추천해요

데이터 엔지니어로
커리어를 생각하고 있어요
데이터 엔지니어가 되고 싶지만 뭘 해야 할지 모르겠는 개발자 / 분석가/ 과학자 / 학생

데이터 파이프라인을 만드는데 관심있어요
데이터 관련 일을 하면서 데이터 파이프라인 관련 일을 해야하거나 이 방법이 궁금하신 분

데이터 엔지니어링에 대해
더 잘 알고 싶어요
데이터 엔지니어나 ML 엔지니어 등으로 일을 하지만 더 자세히 알고 싶으신 분

수강 후에는

  • 데이터 조직의 미션과 데이터 엔지니어링의 역할이 무엇인지 알 수 있습니다.


  • 데이터 인프라를 구성하는 데이터 웨어하우스와 데이터 파이프라인에 대해 알게 됩니다.

    • 이 과정에서 Snowflake라는 데이터 웨어하우스를 여러분의 스킬셋에 추가할 수 있습니다.

    • 데이터 파이프라인을 작성, 운영함에 있어 정말 도움이 되는 모범 사례들에 대해 배웁니다.

  • 데이터 파이프라인 작성/운영 프레임웍으로 가장 인기 높은 Airflow를 바탕으로 다양한 데이터 파이프라인을 작성할 수 있습니다.

    • 전체 업데이트, 증분 업데이트, 백필 (Backfill), 모니터링 등의 고급 개념도 숙지합니다.

  • Python과 SQL이 어떤 형태로 데이터 파이프라인 작성에 사용되는지 실전 경험을 통해 데이터를 다루는 사람으로서 역량이 올라갑니다.

실리콘밸리에서 검증된 데이터 전문가의 인사이트

안녕하세요. 30년차 실리콘밸리 데이터 전문가 한기용입니다. 삼성전자에서 첫 커리어를 시작한 이후, 31살의 나이에 실리콘밸리로 떠났습니다. 유데미 (2021년 나스닥 상장), 폴리보어 (2015년 야후 인수) 등의 조직에서 데이터 팀을 빌딩하고 다양한 실리콘밸리와 한국 소재 기업 대상으로 데이터 자문을 하며 쌓은 노하우와 실리콘 밸리 취업률 1위를 자랑하는 산호세 주립대에서 석사 과정 학생들을 가르친 경험을 바탕으로 데이터 사이언티스트를 위한 필수 스킬을 공유합니다.

수강 전 참고 사항

실습 환경

  • Docker를 기준으로 Airflow를 실행합니다. 강의 내에서 Docker에 대해 소개하고 설치 과정도 설명드립니다.

  • 데이터 웨어하우스로는 Snowflake의 무료 시험판을 사용합니다. 30일 혹은 $400 크레딧 안에서 무료 사용이 가능한데 크레딧 카드 입력이 필요 없고 무료 시험이 끝나도 다시 문제 없이 다시 무료 시험을 할 수 있습니다 (단 환경을 새로 설정해야 합니다)

  • 데이터 파이프라인 코딩 도입부에 Google Colab을 사용합니다.

선수 지식 및 유의사항

  • 기본적인 Python 문법 (초급)


  • 기본 SQL 지식 (초급)

  • 열심히 따라오겠다는 의지

이런 분들께
추천드려요!

학습 대상은
누구일까요?

  • 데이터 엔지니어로 일하고 있거나 일하고 싶은 사람

  • 데이터 관련 파이프라인 일을 하거나 하고 싶은 사람

  • 데이터 관련 업무/프로젝트에 호기심이 있는 사람

선수 지식,
필요할까요?

  • Python (초급)

  • SQL (초급)

안녕하세요
한기용입니다.

581

명

수강생

25

개

수강평

14

개

답변

4.9

점

강의 평점

4

개

강의

컴퓨터 공학 석사 후 삼성전자에서 시작된 커리어가 친구덕에 실리콘밸리로 이어져 지난 29년간 13개의 다양한 스테이지의 회사를 다녔습니다 (창업, 대기업들, 다수의 스타트업들).

  • 야후: 엔지니어링 디렉터로 검색엔진 개발.

  • 유데미. 데이터팀을 처음 만들어 30명까지 성장. 2021년 10월에 나스닥 상장

  • 삼성전자

  • ...

중간에 11개월 쉬어보기도 했고 본의 아니게 엔젤투자자(Chartmetric, Goodtime.io, Select Star, EO, 비지니스 캔버스, ...), 어드바이저(몰로코, 블라인드, 월급쟁이부자들, ...), 컨설팅(SK텔레콤, 현대카드, 이마트 등등) 등의 역할을 하면서 나만의 브랜드를 만들었습니다. 실패를 실패가 아닌 교훈으로 보는 긍정의 힘과 꾸준함이라는 복리의 힘을 믿습니다.

https://www.linkedin.com/in/keeyonghan/

유투브 채널

월급쟁이부자들 강의

더보기

커리큘럼

전체

67개 ∙ (11시간 40분)

해당 강의에서 제공:

수업자료
강의 게시일: 
마지막 업데이트일: 

수강평

아직 충분한 평가를 받지 못한 강의입니다.
모두에게 도움이 되는 수강평의 주인공이 되어주세요!