Data Science

/

Data Engineering

Big Data Processing (Spark) as Told by a Silicon Valley Leader

How is processing big data different from processing data with Pandas? Let's learn about Spark, an essential framework for big data processing.

(5.0) 1 reviews

30 students

Apache Spark
pyspark
Pandas
Big Data
SQL

This course is prepared for Basic Learners.

What you will learn!

  • Spark

  • Big data processing

  • Databricks

  • Spark SQL

  • Data Engineering

Silicon Valley Engineer Explains
Data Pipeline Design Practices

336559_1

Spark, the standard for large-scale data processing

Pandas is useful for small-scale data processing, but it shows its limitations as the data grows. On the other hand , Spark is a proven big data processing framework chosen by numerous global companies .

It supports a wide range of tasks, from fast processing speeds and flexible scalability to real-time data analysis and machine learning pipeline construction, and is positioned as a key tool not only in data engineering but also in the AI field.

336559-2

Spark is no longer just an option; it is a core technology that must be learned in large-scale data environments.
This course is designed to help those who are new to Spark gradually build the performance optimization and analysis design capabilities necessary for practical work.

Why you should take this course

A lecture that provides a proper starting point for learning Spark

Once you understand the context of the technology, subsequent learning becomes much faster and clearer. This course is designed to help you gradually learn big data analysis technology by learning about the evolution of data processing systems and the natural transition from Pandas to Spark.

A course covering Spark performance optimization and practical logic implementation .

This course will help you implement a variety of scenarios, including user behavior analysis, channel flow analysis, and sales aggregation.
Learn the core strategies for designing and utilizing Spark quickly and flexibly. You will also learn Partition, Shuffling, Join methods, and advanced features such as Parquet, UDF, and UDAF in a step-by-step manner, so you can naturally develop the performance optimization and complex logic implementation capabilities required for practical work .

Experience with Spark in a production environment , beyond local

This course will teach you how to set up and run a Spark cluster using AWS EMR through hands-on practice.
From the latest features of Spark 4.0 to operational flows in a cloud environment, it is designed to help you gain the ability to utilize Spark at a production level beyond local training.

Rated 4.9! Highly praised by San Jose State University data science students

This course is included in the Master's program in Data Science at San Jose State University in the United States, and has received a high rating of 4.9 in actual educational settings. It is a practical course recognized overseas that can prepare for Spark introduction and practical transition at the same time.

Learn about these things

1⃣ Understanding the characteristics and challenges of big data processing through the history of big data processing development
2⃣ Learn more about data processing through comparison between Pandas and Spark
3⃣ Understanding the structure of Spark programs and learning Spark SQL programming
4⃣ Learn practical Spark programming with various examples on Databricks
5⃣ Using Spark on AWS EMR and Introduction to Spark 4.0

I recommend this to these people

I'm working on analyzing and processing big data.
Data engineers/analysts/scientists who must process large amounts of data due to the nature of their work

I want to go beyond Pandas scale
Pandas users who are curious about the challenges of big data processing.

I need to understand big data processing.
Developers who need to understand big data processing, even though it is not their main job

After class

  • Understand how big data processing has evolved and what challenges it faces

  • Learn about Spark, the big data standard, its composition and program structure based on Python.

  • Based on examples, you will understand the differences with Pandas, why SQL is efficient in processing structured data, and learn how to use Spark SQL.

Insights from Silicon Valley -proven big data experts

Hello. I am Ki-Yong Han, a data expert in Silicon Valley with 30 years of experience. After starting my career at Samsung Electronics, I moved to Silicon Valley at the age of 31 and spent the first 11 years developing web search at Yahoo, where I first encountered big data processing. Since then, I have built data teams at organizations such as Udemy (listed on NASDAQ in 2021) and Polyvore (acquired by Yahoo in 2015), and have provided data consulting to various Silicon Valley and Korean companies . Based on this, I will share essential skills for data engineers based on my experience teaching master's students at San Jose State University, which boasts the highest employment rate in Silicon Valley .

image

Things to note before taking the class

Practice environment

  • We use Spark 3.5 based on Python (PySpark). We will briefly introduce Spark 4.x, which is currently in preview development, at the end.

  • The practice environment is mainly

    I use Databricks Community Edition, but I also use Google Colab, Databricks Free Trial, and AWS EMR.


Learning Materials

Player Knowledge and Notes

  • Basic Python syntax (especially Pandas)


  • Basic SQL Knowledge (Beginner)


Recommended for
these people!

Who is this course right for?

  • Someone who is basically interested in big data processing

  • Someone with Pandas experience who wants to expand into big data processing technologies.

  • Someone who needs big data processing for their work.

Need to know before starting?

  • Experience using Pandas

  • Basic Python

  • Basic SQL

Hello
This is keeyonghan9539

764

Students

38

Reviews

22

Answers

4.8

Rating

5

Courses

컴퓨터 공학 석사 후 삼성전자에서 시작된 커리어가 친구덕에 실리콘밸리로 이어져 지난 29년간 13개의 다양한 스테이지의 회사를 다녔습니다 (창업, 대기업들, 다수의 스타트업들).

  • 야후: 엔지니어링 디렉터로 검색엔진 개발.

  • 유데미. 데이터팀을 처음 만들어 30명까지 성장. 2021년 10월에 나스닥 상장

  • 삼성전자

  • ...

중간에 11개월 쉬어보기도 했고 본의 아니게 엔젤투자자(Chartmetric, Goodtime.io, Select Star, EO, 비지니스 캔버스, ...), 어드바이저(몰로코, 블라인드, 월급쟁이부자들, ...), 컨설팅(SK텔레콤, 현대카드, 이마트 등등) 등의 역할을 하면서 나만의 브랜드를 만들었습니다. 실패를 실패가 아닌 교훈으로 보는 긍정의 힘과 꾸준함이라는 복리의 힘을 믿습니다.

https://www.linkedin.com/in/keeyonghan/

유투브 채널

월급쟁이부자들 강의

More

Curriculum

All

45 lectures ∙ (11hr 25min)

Course Materials:

Lecture resources
Published: 
Last updated: 

Reviews

All

1 reviews

5.0

1 reviews

  • everythx

    Reviews 9

    ∙

    Average Rating 5.0

    5

    32% enrolled

    고스펙의 실무와 대학강의를 겸비하셔서인지 이해가 쉽게됩니다

    keeyonghan9539's other courses

    Check out other courses by the instructor!

    [멘토링] 데이터로 미래를 그리다: 모두를 위한 데이터 리터러시Course Thumbnail

    [멘토링] 데이터로 미래를 그리다: 모두를 위한 데이터 리터러시

    한기용

    $264,000.00

    Beginner / 데이터 리터러시, 데이터 엔지니어링, 데이터 트랜스포메이션, EDA

    4.8

    (10)

    Mentoring
    Mentoring

    데이터에 관심있는 개인이나 리더를 대상으로 데이터 팀이 하는 일을 소개하고 조직의 데이터 활용 능력을 나타내는 데이터 문해력이 어떤 것인지 소개합니다.

    Beginner

    Beginner

    데이터 리터러시, 데이터 엔지니어링, 데이터 트랜스포메이션

    실리콘밸리 데이터 리더가 알려주는 Airflow 기초Course Thumbnail

    실리콘밸리 데이터 리더가 알려주는 Airflow 기초

    한기용

    $132,000.00

    Basic / airflow, snowflake, SQL, Python

    5.0

    (4)

    100+
    Update
    Update

    AI 시대가 도래하면서, 데이터 파이프라인 구성은 기업 경쟁력을 좌우하는 핵심 역량으로 자리 잡았습니다. 가장 널리 사용되는 Airflow를 활용해 효율적인 데이터 파이프라인을 구축하는 노하우를, 실전 경험과 풍부한 강의 경력을 지닌 실리콘밸리 전문가(前 유데미 데이터팀 헤드, 現 산호세 주립대 데이터 석사 과정 교수)에게 직접 배워보세요.

    Basic

    Basic

    airflow, snowflake, SQL

    실리콘밸리 데이터 리더가 알려주는 기초 SQLCourse Thumbnail

    실리콘밸리 데이터 리더가 알려주는 기초 SQL

    한기용

    $71,500.00

    Basic / SQL, 데이터 리터러시, 데이터 엔지니어링, 빅데이터, DBMS/RDBMS, duckdb

    5.0

    (2)

    데이터를 하는 사람이라면 꼭 알아야하는 기본 기술은 SQL입니다. 이번 강의에서는 SQL을 데이터 분석이란 관점에서 실습 위주로 학습해보겠습니다. 실습은 DuckDB를 가지고 Google Colab에서 진행합니다.

    Basic

    Basic

    SQL, 데이터 리터러시, 데이터 엔지니어링

    Similar courses

    Explore other courses in the same field!

    실리콘밸리 데이터 리더가 알려주는 Airflow 기초Course Thumbnail

    실리콘밸리 데이터 리더가 알려주는 Airflow 기초

    한기용

    $132,000.00

    Basic / airflow, snowflake, SQL, Python

    5.0

    (4)

    100+
    Update
    Update

    AI 시대가 도래하면서, 데이터 파이프라인 구성은 기업 경쟁력을 좌우하는 핵심 역량으로 자리 잡았습니다. 가장 널리 사용되는 Airflow를 활용해 효율적인 데이터 파이프라인을 구축하는 노하우를, 실전 경험과 풍부한 강의 경력을 지닌 실리콘밸리 전문가(前 유데미 데이터팀 헤드, 現 산호세 주립대 데이터 석사 과정 교수)에게 직접 배워보세요.

    Basic

    Basic

    airflow, snowflake, SQL

    실리콘밸리 데이터 리더가 알려주는 기초 SQLCourse Thumbnail

    실리콘밸리 데이터 리더가 알려주는 기초 SQL

    한기용

    $71,500.00

    Basic / SQL, 데이터 리터러시, 데이터 엔지니어링, 빅데이터, DBMS/RDBMS, duckdb

    5.0

    (2)

    데이터를 하는 사람이라면 꼭 알아야하는 기본 기술은 SQL입니다. 이번 강의에서는 SQL을 데이터 분석이란 관점에서 실습 위주로 학습해보겠습니다. 실습은 DuckDB를 가지고 Google Colab에서 진행합니다.

    Basic

    Basic

    SQL, 데이터 리터러시, 데이터 엔지니어링

    업무에 바로 써먹는 데이터 마인드(데이터 리터러시) 향상 방법Course Thumbnail

    업무에 바로 써먹는 데이터 마인드(데이터 리터러시) 향상 방법

    한국사회능력개발원

    $111,100.00

    34%

    $72,220.00

    Beginner / 데이터 리터러시, 빅데이터, 머신러닝, 문제해결능력

    New
    New

    데이터 분석 경험도 별다른 기술도 없는 기획자, 마케터가 가장 기초적인 수준에서 데이터 분석을 해볼 수 있는 방법을 다양한 사례와 함께 알려 드립니다. 여러 해 동안 100여 개 기업과 공공기관 등에서 2천여 명에 이르는 수강자들과 함께 실습하며 데이터 비전문가 입장에서 가장 현실적으로 활용 가능한 분석법으로 내용을 구성했습니다.

    Beginner

    Beginner

    데이터 리터러시, 빅데이터, 머신러닝

    데이터입문자를 위한 Azure 데이터 기초 완전정복Course Thumbnail

    데이터입문자를 위한 Azure 데이터 기초 완전정복

    이상희강사

    $110,000.00

    Beginner / SQL, 빅데이터, 데이터 엔지니어링, database, 데이터 리터러시

    Microsoft AZ-900 자격을 동시에 대비 할 수 있는 이론적 토대를 마련 할 수 있는 특강이며 2025년 5월 기준의 출제 범위를 반영한 최신 콘텐트로서 핵심 데이터 개념 ,Azure의 관계형 데이터 ,Azure의 비관계형 데이터,Azure의 분석 워크로드에 관련된 내용을 이론과 실습이 겸비된 형태로 제공함으로서 자격증 취득은 물론 데이터 전문가로의 첫걸음 다지는 의미있는 교육 기회로 활용 할 수 있습니다

    Beginner

    Beginner

    SQL, 빅데이터, 데이터 엔지니어링

    [무료]기초 텍스트마이닝: 앱 리뷰 분석 with 파이썬(40분 완성)Course Thumbnail

    [무료]기초 텍스트마이닝: 앱 리뷰 분석 with 파이썬(40분 완성)

    HappyAI

    Free

    Basic / 텍스트마이닝, 빅데이터, NLP, 데이터 리터러시

    4.7

    (13)

    500+

    이 강의는 파이썬을 활용한 텍스트마이닝 분석에 관한 기초 이론과 실습을 배울 수 있습니다. 실무나 논문 작성 시 필요한 기초적인 텍스트마이닝 데이터 분석 기법을 설명합니다.

    Basic

    Basic

    텍스트마이닝, 빅데이터, NLP

    모르면 퇴사각? 데이터 엔지니어링 정석Course Thumbnail

    모르면 퇴사각? 데이터 엔지니어링 정석

    미쿡엔지니어

    $110,000.00

    25%

    $82,500.00

    Basic / 빅데이터, 데이터 엔지니어링, 아키텍처

    5.0

    (3)

    100+
    Update
    Update
    Active Replies
    Active Replies

    데이터 시대, 진정한 가치를 발견하라! 📊 데이터에 집중된 어플리케이션 설계는 이제 필수가 되었습니다. 최신 트렌드와 실무 중심의 사례로 회사가 원하는 인사이트와 실력을 키워보세요. 효율적인 데이터 처리와 설계 비법, 지금 바로 시작하세요! 당신의 다음 스텝, 데이터 중심의 세계로 도약하세요!

    Basic

    Basic

    빅데이터, 데이터 엔지니어링, 아키텍처

    [2025] SQLD 문제가 어려운 당신을 위한 노랭이 176 문제 풀이Course Thumbnail

    [2025] SQLD 문제가 어려운 당신을 위한 노랭이 176 문제 풀이

    데이터코드랩

    $39,600.00

    Basic / SQL, SQLD, 빅데이터, Oracle, MSSQL

    5.0

    (5)

    Update
    Update

    공부는 했지만 문제를 풀지 못하는 당신을 위한 SQLD 노랭이 176 문제 풀이 강의. 완강 후 합격을 넘어 전문가가 됩니다. SQLD 올인원패스!

    Basic

    Basic

    SQL, SQLD, 빅데이터

    [관리코스 #3] DE, DBA (SSIS, SSAS, MachineLearning, BI, ETL)Course Thumbnail

    [관리코스 #3] DE, DBA (SSIS, SSAS, MachineLearning, BI, ETL)

    개발자Park

    $55,000.00

    Basic / 빅데이터, ssis, ssas, 머신러닝, etl

    5.0

    (2)

    Active Replies
    Active Replies

    SSIS, SSAS, MachineLearning, BI, ETL. 국내의 도서, 유튜브, 강의, 블로그, 학원에서 찾아볼 수 없는 중요한 기술을 배울 수 있습니다. 국내 대기업, 미국 대기업 및 미국 주정부 자금 지원 기관 취업에 관심 있는 분들께도 추천해요.

    Basic

    Basic

    빅데이터, ssis, ssas

    $84.70