초급자를 위해 준비한
[데이터 엔지니어링] 강의입니다.
이런 걸
배워요!
데이터 파이프라인 구축
Apache Airflow(아파치 에어플로우)
Apache Spark(아파치 스파크) 소개
MinIO 소개
TaskFlow API
Slack Integration
데이터 파이프라인 필수 도구, Airflow
실리콘밸리 개발자에게 배우세요! 🔥
모던한 데이터 워크플로우 관리,
Apache Airflow와 함께 📌
현업에서 가장 많이 쓰는 워크플로우 관리 툴 : Apache Airflow
Airflow(에어플로우)의 간단한 설정과 사용법을 익혀보세요. 여러분의 첫 번째 데이터 워크플로우를 만들 수 있도록 안내해 드리겠습니다.
복잡한 개념은 뒤로, Airflow의 매력적인 세계로!
데이터 분석과 처리 작업이 복잡해지면서 작업의 스케줄링, 의존성 관리, 오류 처리 등의 문제가 더욱 중요해지고 있습니다. 이러한 과제들을 효과적으로 다루기 위해 Airflow는 많은 조직에서 선택하는 핵심 도구 중 하나입니다.
본 강의는 처음 Airflow를 접하는 여러분들을 위해 미리 준비한 강의입니다. 실리콘밸리에서 보편화된 Apache Airflow. 간단하고 쉬운 입문을 도와드릴게요.
왜 Apache Airflow를 배워야 할까요?
자동화된 워크플로우 관리
Airflow는 작업들을 시간에 따라 자동으로 실행하고 관리할 수 있는 강력한 스케줄링 기능을 제공합니다. 데이터 처리 작업을 더 효율적으로 계획하고 실행할 수 있습니다.
의존성 관리
복잡한 데이터 워크플로우에서는 작업 사이의 의존성을 정확하게 관리해야 합니다. Airflow는 작업 간의 의존성을 명확하게 정의하고 작업 간의 순서를 지정할 수 있는 기능을 제공합니다.
강력한 모니터링과 알림
작업이 실행되는 동안 Airflow 대시보드를 통해 작업의 진행 상황을 모니터링할 수 있습니다. 또한 작업이 실패하거나 문제가 발생할 경우 설정한 알림을 통해 빠르게 대응할 수 있습니다.
확장성과 유연성
Airflow는 다양한 플러그인과 라이브러리를 지원합니다. 다양한 데이터 저장소, 작업 실행 환경, 알림 메커니즘과 통합할 수 있어요. 여러분의 요구에 맞게 커스텀한 워크플로우를 구축해 보세요.
커뮤니티와 생태계
Airflow는 활발한 커뮤니티와 풍부한 생태계를 갖추고 있습니다. 그래서 문제 해결에 도움을 받을 수 있는 훌륭한 리소스가 많습니다.
강의 특징 ✨
✅ 어려운 개념 없이 쉽게! Airflow가 무엇인지, 왜 필요한지 비유와 예시를 통해 설명합니다.
✅ 실제 Airflow 사용 과정을 따라 하고, 간단한 데이터 워크플로우를 만들어 보는 실습 중심 강의!
✅ 강의 중 궁금하거나 이해하지 못한 부분이 있다면 언제든지 질문해 주세요. Q&A와 함께 학습하세요!
학습 내용 📚
- 모든 강의 자료는 영어로 되어 있습니다. 강의 자체는 한국어로 진행되며 미래 해외 취업에 용이하도록 준비했습니다.
- PDF 강의 자료 및 Github 코드를 제공합니다.
현직 실리콘밸리 엔지니어의 노하우를 그대로 전해드립니다!
저는 유튜브 "미쿡 엔지니어" 및 브런치 "실리콘 밸리 소식과 삶"을 운영하는 현직 소프트웨어 엔지니어입니다. 지금은 미국 University of California, Berkeley EECS를 졸업하고 미국 실리콘밸리 글로벌 빅테크 기업 본사에서 빅데이터 관련 업무를 진행하고 있습니다. 실제 업무에서 알게 된 노하우를 많은 분들께 전해드리고 싶습니다. 🙂
이런 분들이시라면
지금 바로 시작해 보세요.
💡
데이터 엔지니어
데이터 워크플로우를 자동화하고 스케줄링하여 데이터 퀄리티와 일관성을 유지하세요.
💡
데이터 분석가
정기적인 데이터 업데이트나 모델 재학습 작업 등을 처리해 보세요.
💡
데이터 과학자
모델 훈련, 평가, 배치 예측 등을 자동화하여 데이터 과학 프로세스를 효율적으로 관리하세요.
💡
시스템 관리자
작업 실행에 대한 투명성과 신뢰성을 높일 수 있습니다.
💡
데이터 엔지니어링 및 개발팀
ETL (Extract, Transform, Load) 작업, API 호출 등 다양한 자동화 작업을 구현할 수 있습니다.
💡
프로젝트 관리자
작업의 의존성, 우선순위, 예상 실행 시간 등을 설정하여 프로젝트 일정을 효과적으로 조정할 수 있습니다.
예상 질문 Q&A 💬
Q. 왜 Apache Airflow를 배워야 하나요?
Apache Airflow는 데이터 워크플로우 관리 도구로, 데이터 파이프라인을 자동화하고 스케줄링하며 모니터링하는 데 사용됩니다. 이는 데이터 엔지니어, 데이터 사이언티스트, 시스템 관리자 등 다양한 역할에서 효율적인 데이터 워크플로우(Workflow) 관리를 할 수 있습니다.
강의 후반부에는 빅데이타 기술(아파치 스파크)과 연동하는 부분까지 배울 수 있어 많은 파이프 라인을 관리하는 데이타 엔지니어라면 큰 도움이 되실 겁니다.
Q. 비전공자도 들을 수 있는 강의인가요?
비전공자지만 파이썬의 기본을 아시고, 데이터나 작업의 스케줄 워크플로우을 효율화하고 싶으시다면, 많은 도움이 되실 겁니다.
파이썬이 처음이시라면 유튜브를 통해 파이썬 기초를 학습하거나 아래 강의를 먼저 수강해주세요! 기초 부분만 보셔도 전체 강의를 따라오는 데 어려움은 없을 것입니다.
Q. 강의를 듣기 전 준비해야 할 것이 있나요?
아무래도 파이썬으로 코드를 만들다 보니, 기본적인 파이썬 강의는 하지 않습니다. 또한 Docker를 이용한 실습이 나오므로, Docker에 대한 기본적인 지식이 있으면 이해하시기 쉬울 것입니다.
수강 전 참고 사항 📢
실습 환경
- 운영 체제 및 버전(OS)
- 강의는 MacOS에서 진행되지만, 파이썬(Airflow 자체가 파이썬 라이브러리임)이 있는 운영체제라면 어디든지 실습할 수 있습니다.
- 사용 도구
- 파이썬 3.7+
- Airflow는 Apache 라이센스이므로 무료입니다.
- PC 사양
- CPU: 2코어 이상
- 메모리: 4GB 이상
- 디스크: 10GB 이상
선수 지식 및 유의 사항
- 파이썬과 Docker(도커)에 대한 기본 지식이 필요합니다.
- 질문이 있으면 편하게 해주세요. 다만 제가 미 서부에 있다 보니, 답변까지 시간이 조금 걸릴 수 있습니다.
이런 분들께
추천드려요!
학습 대상은
누구일까요?
데이터 엔지니어링에 종사하시는 분
데이터 엔지니어가 되시고 싶은 분
선수 지식,
필요할까요?
Python
안녕하세요
미쿡엔지니어입니다.
💪💪💪 최고가 되고 싶다면, 최고의 강사에게 배워야 합니다 💪💪💪
안녕하세요. UC Berkeley에서 💻 컴퓨터 공학(EECS)을 전공하고, 실리콘 밸리에서 14년 이상을 소프트웨어 엔지니어로 일해왔으며, 현재는 Apple 본사에서 빅데이터와 DevOps를 다루는 Staff Software Engineer로 있습니다.
🧭 실리콘 밸리의 혁신 현장에서 직접 배운 기술과 노하우를 온라인 강의를 통해 이제 여러분과 함께 나누고자 합니다.
🚀 기술 혁신의 최전선에서 배우고 성장해 온 저와 함께, 여러분도 글로벌 무대에서 경쟁할 수 있는 역량을 키워보세요!
🫡 똑똑하지는 않지만, 포기하지 않고 꾸준히 하면 뭐든지 이룰수 있다는 점을 꼭 말씀드리고 싶습니다. 항상 좋은 자료로 옆에서 도움을 드리겠습니다
커리큘럼
전체
31개 ∙ (4시간 6분)
가 제공되는 강의입니다.
Apache Airflow 설치하기
09:13
첫번째 DAG 만들어보기
08:40
Airflow 사용시 유의할 점
03:12
잠깐의 공지사항!
00:36
Sensor(센서)에 대해 알아보기
06:15
Hook(훅)에 대해 알아보기
18:54