NEW

데이터 사이언스

데이터 엔지니어링

실리콘밸리 리더가 알려주는 빅데이터 처리 (Spark)

빅데이터를 처리한다는 것은 Pandas로 데이터를 처리하는 것과 무엇이 다를까요? 빅데이터 처리의 필수 프레임워크인 Spark에 대해서 배워볼까요?

23명 이 수강하고 있어요.

한기용

초급자를 위해 준비한
[데이터 엔지니어링, Apache Spark] 강의입니다.

이런 걸 배울 수 있어요

Spark
빅데이터 처리
Databricks
Spark SQL
데이터 엔지니어링

Spark 성능 최적화와 실전 로직 구현을 아우르는 강의

이 강의는 사용자 행동 분석, 채널 흐름 파악, 매출 집계 등 다양한 시나리오를 직접 구현하며,
Spark를 빠르고 유연하게 설계하고 활용하는 핵심 전략을 학습합니다. 또한 Partition, Shuffling, 조인 방식은 물론, Parquet, UDF, UDAF 같은 고급 기능까지 단계적으로 다루며, 실무에 필요한 성능 최적화와 복잡한 로직 구현 역량을 자연스럽게 키워갈 수 있습니다.

안녕하세요. 30년차 실리콘밸리 데이터 전문가 한기용입니다. 삼성전자에서 첫 커리어를 시작한 이후, 31살의 나이에 실리콘밸리로 떠나 처음 11년은 야후 등에서 웹검색 개발을 하며 빅데이터 처리와 처음 인연을 맺었습니다. 그 이후 유데미 (2021년 나스닥 상장), 폴리보어 (2015년 야후 인수) 등의 조직에서 데이터 팀을 빌딩하고 다양한 실리콘밸리와 한국 소재 기업 대상으로 데이터 자문을 하며 쌓은 노하우와 실리콘 밸리 취업률 1위를 자랑하는 산호세 주립대에서 석사 과정 학생들을 가르친 경험을 바탕으로 데이터 엔지니어를 위한 필수 스킬을 공유합니다.

이런 분들께
추천드려요!

학습 대상은
누구일까요?

기본적으로 빅 데이터 처리에 관심이 있는 사람
Pandas 경험이 있고 이를 빅데이터 처리 기술로 확장하고 싶은 사람
빅데이터 처리가 업무적으로 필요한 사람

선수 지식,
필요할까요?

Pandas 사용 경험
기초 Python
기초 SQL

안녕하세요
한기용입니다.

713

명

수강생

개

수강평

개

답변

4.8

점

강의 평점

개

강의

컴퓨터 공학 석사 후 삼성전자에서 시작된 커리어가 친구덕에 실리콘밸리로 이어져 지난 29년간 13개의 다양한 스테이지의 회사를 다녔습니다 (창업, 대기업들, 다수의 스타트업들).

야후: 엔지니어링 디렉터로 검색엔진 개발.
유데미. 데이터팀을 처음 만들어 30명까지 성장. 2021년 10월에 나스닥 상장
삼성전자
...

중간에 11개월 쉬어보기도 했고 본의 아니게 엔젤투자자(Chartmetric, Goodtime.io, Select Star, EO, 비지니스 캔버스, ...), 어드바이저(몰로코, 블라인드, 월급쟁이부자들, ...), 컨설팅(SK텔레콤, 현대카드, 이마트 등등) 등의 역할을 하면서 나만의 브랜드를 만들었습니다. 실패를 실패가 아닌 교훈으로 보는 긍정의 힘과 꾸준함이라는 복리의 힘을 믿습니다.

https://www.linkedin.com/in/keeyonghan/

유투브 채널

월급쟁이부자들 강의

커리큘럼

전체

44개 ∙ (11시간 25분)

섹션 1. 과정 소개

2개 ∙ (14분)

1. 강사 소개
05:29
2. 강의 소개
08:31

섹션 2. Small 데이터에서 Big 데이터로

5개 ∙ (1시간 2분)

섹션 3. Pandas에서 Spark으로!

8개 ∙ (2시간 39분)

8. Pandas 소개
09:03
9. 예제를 통한 Pandas와 Spark 비교
26:37
10. Spark 소개
10:34
11. Spark 아키텍처와 실습 환경 소개
19:51
12. Spark 프로그램 구조
24:33
13. Spark 프로그램 구조 실습
21:09
14. 예제를 통한 Pandas와 Spark의 성능 비교
17:53
15. 예제를 통한 Pandas와 Spark의 성능 비교 (실습)
29:39

섹션 4. Spark 프로그래밍

12개 ∙ (3시간 27분)

섹션 5. 실습과 확장

15개 ∙ (3시간 53분)

섹션 6. 마무리와 다음 스텝

2개 ∙ (9분)

강의 게시일: 2025. 04. 20.

마지막 업데이트일: 2025. 05. 13.

수강평

아직 충분한 평가를 받지 못한 강의입니다.

모두에게 도움이 되는 수강평의 주인공이 되어주세요!

한기용님의 다른 강의

지식공유자님의 다른 강의를 만나보세요!

실리콘밸리 데이터 리더가 알려주는 Airflow 기초

한기용

₩132,000

초급 / airflow, snowflake, SQL, Python

5.0

(1)

Update

AI 시대가 도래하면서, 데이터 파이프라인 구성은 기업 경쟁력을 좌우하는 핵심 역량으로 자리 잡았습니다. 가장 널리 사용되는 Airflow를 활용해 효율적인 데이터 파이프라인을 구축하는 노하우를, 실전 경험과 풍부한 강의 경력을 지닌 실리콘밸리 전문가(前 유데미 데이터팀 헤드, 現 산호세 주립대 데이터 석사 과정 교수)에게 직접 배워보세요.

초급

airflow, snowflake, SQL

실리콘밸리 데이터 리더가 알려주는 기초 SQL

한기용

₩71,500

초급 / SQL, 데이터 리터러시, 데이터 엔지니어링, 빅데이터, DBMS/RDBMS, duckdb

5.0

(2)

Update

데이터를 하는 사람이라면 꼭 알아야하는 기본 기술은 SQL입니다. 이번 강의에서는 SQL을 데이터 분석이란 관점에서 실습 위주로 학습해보겠습니다. 실습은 DuckDB를 가지고 Google Colab에서 진행합니다.

초급

SQL, 데이터 리터러시, 데이터 엔지니어링

[멘토링] 데이터로 미래를 그리다: 모두를 위한 데이터 리터러시

한기용

₩264,000

입문 / 데이터 리터러시, 데이터 엔지니어링, 데이터 트랜스포메이션, EDA

4.8

(9)

Update

멘토링

데이터에 관심있는 개인이나 리더를 대상으로 데이터 팀이 하는 일을 소개하고 조직의 데이터 활용 능력을 나타내는 데이터 문해력이 어떤 것인지 소개합니다.

입문

데이터 리터러시, 데이터 엔지니어링, 데이터 트랜스포메이션

비슷한 강의

같은 분야의 다른 강의를 만나보세요!

빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술

J.PHIL

₩99,000

초급 / 빅데이터, Elasticsearch, Apache Spark, Kibana, Hadoop, Logstash, s3-bucket

5.0

(19)

300+

Update

여러분들은 빅데이터 프로세싱의 4단계에 해당하는 [데이터 수집 ▶ 데이터 저장 ▶ 데이터 분석 ▶ 표현] 에 대한 내용을 이론 30% + 실습 70%으로 이루어진 코드랩 방식으로 보다 재밌고 체계적으로 학습합니다 🧑🏻‍🏫

초급

빅데이터, Elasticsearch, Apache Spark

실리콘밸리 데이터 리더가 알려주는 기초 SQL

한기용

₩71,500

초급 / SQL, 데이터 리터러시, 데이터 엔지니어링, 빅데이터, DBMS/RDBMS, duckdb

5.0

(2)

Update

초급

SQL, 데이터 리터러시, 데이터 엔지니어링

모르면 퇴사각? 데이터 엔지니어링 정석

미쿡엔지니어

₩110,000

25%

₩82,500

초급 / 빅데이터, 데이터 엔지니어링, 아키텍처

5.0

(2)

100+

Update

데이터 시대, 진정한 가치를 발견하라! 📊 데이터에 집중된 어플리케이션 설계는 이제 필수가 되었습니다. 최신 트렌드와 실무 중심의 사례로 회사가 원하는 인사이트와 실력을 키워보세요. 효율적인 데이터 처리와 설계 비법, 지금 바로 시작하세요! 당신의 다음 스텝, 데이터 중심의 세계로 도약하세요!

초급

빅데이터, 데이터 엔지니어링, 아키텍처

[2025] SQLD 문제가 어려운 당신을 위한 노랭이 176 문제 풀이

데이터코드랩

₩39,600

16%

₩33,000

초급 / SQL, SQLD, 빅데이터, Oracle, MSSQL

5.0

(1)

Update

공부는 했지만 문제를 풀지 못하는 당신을 위한 SQLD 노랭이 176 문제 풀이 강의. 완강 후 합격을 넘어 전문가가 됩니다. SQLD 올인원패스!

초급

SQL, SQLD, 빅데이터

[관리코스 #3] DE, DBA (SSIS, SSAS, MachineLearning, BI, ETL)

개발자Park

₩55,000

초급 / 빅데이터, ssis, ssas, 머신러닝, etl

5.0

(2)

Update

SSIS, SSAS, MachineLearning, BI, ETL. 국내의 도서, 유튜브, 강의, 블로그, 학원에서 찾아볼 수 없는 중요한 기술을 배울 수 있습니다. 국내 대기업, 미국 대기업 및 미국 주정부 자금 지원 기관 취업에 관심 있는 분들께도 추천해요.

초급

빅데이터, ssis, ssas

월 ₩15,246

5개월 할부 시

30%

₩108,900

₩76,230

실리콘밸리 리더가 알려주는 빅데이터 처리 (Spark)