Data Science

/

Data Engineering

Big Data Processing (Spark) as Told by a Silicon Valley Leader

How is processing big data different from processing data with Pandas? Let's learn about Spark, an essential framework for big data processing.

(5.0) 2 reviews

39 students

Apache Spark
pyspark
Pandas
Big Data
SQL

What you will learn!

  • Spark

  • Big data processing

  • Databricks

  • Spark SQL

  • Data Engineering

Silicon Valley Engineer Explains
Data Pipeline Design Practices

336559_1

Spark, the standard for large-scale data processing

Pandas is useful for small-scale data processing, but it shows its limitations as the data grows. On the other hand , Spark is a proven big data processing framework chosen by numerous global companies .

It supports a wide range of tasks, from fast processing speeds and flexible scalability to real-time data analysis and machine learning pipeline construction, and is positioned as a key tool not only in data engineering but also in the AI field.

336559-2

Spark is no longer just an option; it is a core technology that must be learned in large-scale data environments.
This course is designed to help those who are new to Spark gradually build the performance optimization and analysis design capabilities necessary for practical work.

Why you should take this course

A lecture that provides a proper starting point for learning Spark

Once you understand the context of the technology, subsequent learning becomes much faster and clearer. This course is designed to help you gradually learn big data analysis technology by learning about the evolution of data processing systems and the natural transition from Pandas to Spark.

A course covering Spark performance optimization and practical logic implementation .

This course will help you implement a variety of scenarios, including user behavior analysis, channel flow analysis, and sales aggregation.
Learn the core strategies for designing and utilizing Spark quickly and flexibly. You will also learn Partition, Shuffling, Join methods, and advanced features such as Parquet, UDF, and UDAF in a step-by-step manner, so you can naturally develop the performance optimization and complex logic implementation capabilities required for practical work .

Experience with Spark in a production environment , beyond local

This course will teach you how to set up and run a Spark cluster using AWS EMR through hands-on practice.
From the latest features of Spark 4.0 to operational flows in a cloud environment, it is designed to help you gain the ability to utilize Spark at a production level beyond local training.

Rated 4.9! Highly praised by San Jose State University data science students

This course is included in the Master's program in Data Science at San Jose State University in the United States, and has received a high rating of 4.9 in actual educational settings. It is a practical course recognized overseas that can prepare for Spark introduction and practical transition at the same time.

Learn about these things

1⃣ Understanding the characteristics and challenges of big data processing through the history of big data processing development
2⃣ Learn more about data processing through comparison between Pandas and Spark
3⃣ Understanding the structure of Spark programs and learning Spark SQL programming
4⃣ Learn practical Spark programming with various examples on Databricks
5⃣ Using Spark on AWS EMR and Introduction to Spark 4.0

I recommend this to these people

I'm working on analyzing and processing big data.
Data engineers/analysts/scientists who must process large amounts of data due to the nature of their work

I want to go beyond Pandas scale
Pandas users who are curious about the challenges of big data processing.

I need to understand big data processing.
Developers who need to understand big data processing, even though it is not their main job

After class

  • Understand how big data processing has evolved and what challenges it faces

  • Learn about Spark, the big data standard, its composition and program structure based on Python.

  • Based on examples, you will understand the differences with Pandas, why SQL is efficient in processing structured data, and learn how to use Spark SQL.

Insights from Silicon Valley -proven big data experts

Hello. I am Ki-Yong Han, a data expert in Silicon Valley with 30 years of experience. After starting my career at Samsung Electronics, I moved to Silicon Valley at the age of 31 and spent the first 11 years developing web search at Yahoo, where I first encountered big data processing. Since then, I have built data teams at organizations such as Udemy (listed on NASDAQ in 2021) and Polyvore (acquired by Yahoo in 2015), and have provided data consulting to various Silicon Valley and Korean companies . Based on this, I will share essential skills for data engineers based on my experience teaching master's students at San Jose State University, which boasts the highest employment rate in Silicon Valley .

image

Things to note before taking the class

Practice environment

  • We use Spark 3.5 based on Python (PySpark). We will briefly introduce Spark 4.x, which is currently in preview development, at the end.

  • The practice environment is mainly

    I use Databricks Community Edition, but I also use Google Colab, Databricks Free Trial, and AWS EMR.


Learning Materials

Player Knowledge and Notes

  • Basic Python syntax (especially Pandas)


  • Basic SQL Knowledge (Beginner)


Recommended for
these people!

Who is this course right for?

  • Someone who is basically interested in big data processing

  • Someone with Pandas experience who wants to expand into big data processing technologies.

  • Someone who needs big data processing for their work.

Need to know before starting?

  • Experience using Pandas

  • Basic Python

  • Basic SQL

Hello
This is keeyonghan9539

798

Students

42

Reviews

24

Answers

4.9

Rating

5

Courses

컴퓨터 공학 석사 후 삼성전자에서 시작된 커리어가 친구덕에 실리콘밸리로 이어져 지난 29년간 13개의 다양한 스테이지의 회사를 다녔습니다 (창업, 대기업들, 다수의 스타트업들).

  • 야후: 엔지니어링 디렉터로 검색엔진 개발.

  • 유데미. 데이터팀을 처음 만들어 30명까지 성장. 2021년 10월에 나스닥 상장

  • 삼성전자

  • ...

중간에 11개월 쉬어보기도 했고 본의 아니게 엔젤투자자(Chartmetric, Goodtime.io, Select Star, EO, 비지니스 캔버스, ...), 어드바이저(몰로코, 블라인드, 월급쟁이부자들, ...), 컨설팅(SK텔레콤, 현대카드, 이마트 등등) 등의 역할을 하면서 나만의 브랜드를 만들었습니다. 실패를 실패가 아닌 교훈으로 보는 긍정의 힘과 꾸준함이라는 복리의 힘을 믿습니다.

https://www.linkedin.com/in/keeyonghan/

유투브 채널

월급쟁이부자들 강의

More

Curriculum

All

45 lectures ∙ (11hr 25min)

Course Materials:

Lecture resources
Published: 
Last updated: 

Reviews

All

2 reviews

5.0

2 reviews

  • diazepam576079

    Reviews 8

    ∙

    Average Rating 5.0

    5

    60% enrolled

    • everythx0068

      Reviews 10

      ∙

      Average Rating 5.0

      5

      32% enrolled

      Combining practical experience with university lectures perhaps makes it easy to understand.

      keeyonghan9539's other courses

      Check out other courses by the instructor!

      シリコンバレーのデータリーダーが教えるAirflowの基礎Course Thumbnail

      シリコンバレーのデータリーダーが教えるAirflowの基礎

      keeyonghan9539

      $15,624.00

      Basic / airflow, snowflake, SQL, Python

      5.0

      (5)

      100+

      AI時代が到来し、データパイプラインの構築は企業の競争力を左右する核心的な力量として位置づけられています。最も広く使用されているAirflowを活用し、効率的なデータパイプラインを構築するノウハウを、実戦経験と豊富な講義経歴を持つシリコンバレーの専門家（元Udemyデータチームヘッド、現サンノゼ州立大学データ修士課程教授）から直接学んでみましょう。

      Basic

      Basic

      airflow, snowflake, SQL

      シリコンバレーのデータリーダーが教えるAirflowの基礎Course Thumbnail

      シリコンバレーのデータリーダーが教えるAirflowの基礎

      keeyonghan9539

      $15,624.00

      Basic / airflow, snowflake, SQL, Python

      5.0

      (5)

      100+

      シリコンバレーのデータリーダーが教えるAirflowの基礎

      AI時代が到来し、データパイプラインの構築は企業の競争力を左右する核心的な力量として位置づけられています。最も広く使用されているAirflowを活用し、効率的なデータパイプラインを構築するノウハウを、実戦経験と豊富な講義経歴を持つシリコンバレーの専門家（元Udemyデータチームヘッド、現サンノゼ州立大学データ修士課程教授）から直接学んでみましょう。

      Basic

      Basic

      •

      airflow

      snowflake

      SQL

      Python

      11hr 58min

      You can learn things like this

      AIrflow+Snowflake+Docker基盤のデータパイプライン構築

      データ実務で今すぐ活用できる実践的なSQLとPythonスキル

      シリコンバレーのデータリーダーが教える基礎SQLCourse Thumbnail

      シリコンバレーのデータリーダーが教える基礎SQL

      keeyonghan9539

      $8,400.00

      Basic / SQL, Data literacy, Data Engineering, Big Data, DBMS/RDBMS, duckdb

      5.0

      (2)

      データを扱う人なら必ず知っておくべき基本技術はSQLです。今回の講義では、SQLをデータ分析という観点から実習中心に学習していきます。実習はDuckDBを用いてGoogle Colabで行います。

      Basic

      Basic

      SQL, Data literacy, Data Engineering

      シリコンバレーのデータリーダーが教える基礎SQLCourse Thumbnail

      シリコンバレーのデータリーダーが教える基礎SQL

      keeyonghan9539

      $8,400.00

      Basic / SQL, Data literacy, Data Engineering, Big Data, DBMS/RDBMS, duckdb

      5.0

      (2)

      シリコンバレーのデータリーダーが教える基礎SQL

      データを扱う人なら必ず知っておくべき基本技術はSQLです。今回の講義では、SQLをデータ分析という観点から実習中心に学習していきます。実習はDuckDBを用いてGoogle Colabで行います。

      Basic

      Basic

      •

      SQL

      Data literacy

      Data Engineering

      Big Data

      DBMS/RDBMS

      duckdb

      7hr 6min

      You can learn things like this

      SQL構文およびSQLを用いたデータ分析能力

      DuckDBというデータウェアハウスの使い方

      Similar courses

      Explore other courses in the same field!

      シリコンバレーのデータリーダーが教えるAirflowの基礎Course Thumbnail

      シリコンバレーのデータリーダーが教えるAirflowの基礎

      keeyonghan9539

      $15,624.00

      Basic / airflow, snowflake, SQL, Python

      5.0

      (5)

      100+

      AI時代が到来し、データパイプラインの構築は企業の競争力を左右する核心的な力量として位置づけられています。最も広く使用されているAirflowを活用し、効率的なデータパイプラインを構築するノウハウを、実戦経験と豊富な講義経歴を持つシリコンバレーの専門家（元Udemyデータチームヘッド、現サンノゼ州立大学データ修士課程教授）から直接学んでみましょう。

      Basic

      Basic

      airflow, snowflake, SQL

      シリコンバレーのデータリーダーが教えるAirflowの基礎Course Thumbnail

      シリコンバレーのデータリーダーが教えるAirflowの基礎

      keeyonghan9539

      $15,624.00

      Basic / airflow, snowflake, SQL, Python

      5.0

      (5)

      100+

      シリコンバレーのデータリーダーが教えるAirflowの基礎

      AI時代が到来し、データパイプラインの構築は企業の競争力を左右する核心的な力量として位置づけられています。最も広く使用されているAirflowを活用し、効率的なデータパイプラインを構築するノウハウを、実戦経験と豊富な講義経歴を持つシリコンバレーの専門家（元Udemyデータチームヘッド、現サンノゼ州立大学データ修士課程教授）から直接学んでみましょう。

      Basic

      Basic

      •

      airflow

      snowflake

      SQL

      Python

      11hr 58min

      You can learn things like this

      AIrflow+Snowflake+Docker基盤のデータパイプライン構築

      データ実務で今すぐ活用できる実践的なSQLとPythonスキル

      業務にすぐ活用できるデータマインド（データリテラシー）向上方法Course Thumbnail

      業務にすぐ活用できるデータマインド（データリテラシー）向上方法

      kpcre

      $13,104.00

      Beginner / Data literacy, Big Data, Machine Learning(ML), Business Problem Solving

      データ分析の経験も特別なスキルもないプランナー、マーケターが、最も基礎的なレベルでデータ分析を試せる方法を、様々な事例とともにご紹介します。長年にわたり、100以上の企業や公共機関などで2千名に及ぶ受講者の方々と共に実習しながら、データ非専門家という立場で最も現実的に活用可能な分析法として内容を構成しました。

      Beginner

      Beginner

      Data literacy, Big Data, Machine Learning(ML)

      業務にすぐ活用できるデータマインド（データリテラシー）向上方法Course Thumbnail

      業務にすぐ活用できるデータマインド（データリテラシー）向上方法

      kpcre

      $13,104.00

      Beginner / Data literacy, Big Data, Machine Learning(ML), Business Problem Solving

      業務にすぐ活用できるデータマインド（データリテラシー）向上方法

      データ分析の経験も特別なスキルもないプランナー、マーケターが、最も基礎的なレベルでデータ分析を試せる方法を、様々な事例とともにご紹介します。長年にわたり、100以上の企業や公共機関などで2千名に及ぶ受講者の方々と共に実習しながら、データ非専門家という立場で最も現実的に活用可能な分析法として内容を構成しました。

      Beginner

      Beginner

      •

      Data literacy

      Big Data

      Machine Learning(ML)

      Business Problem Solving

      7hr 38min

      You can learn things like this

      問題解決のためのデータ収集・分析方法を把握できる。

      トレンド、テキストデータ、A/Bテスト、可視化データ分析方法を把握できる。

      データを分析し、問題を解決し、戦略を立案できる。

      シリコンバレーのデータリーダーが教える基礎SQLCourse Thumbnail

      シリコンバレーのデータリーダーが教える基礎SQL

      keeyonghan9539

      $8,400.00

      Basic / SQL, Data literacy, Data Engineering, Big Data, DBMS/RDBMS, duckdb

      5.0

      (2)

      データを扱う人なら必ず知っておくべき基本技術はSQLです。今回の講義では、SQLをデータ分析という観点から実習中心に学習していきます。実習はDuckDBを用いてGoogle Colabで行います。

      Basic

      Basic

      SQL, Data literacy, Data Engineering

      シリコンバレーのデータリーダーが教える基礎SQLCourse Thumbnail

      シリコンバレーのデータリーダーが教える基礎SQL

      keeyonghan9539

      $8,400.00

      Basic / SQL, Data literacy, Data Engineering, Big Data, DBMS/RDBMS, duckdb

      5.0

      (2)

      シリコンバレーのデータリーダーが教える基礎SQL

      データを扱う人なら必ず知っておくべき基本技術はSQLです。今回の講義では、SQLをデータ分析という観点から実習中心に学習していきます。実習はDuckDBを用いてGoogle Colabで行います。

      Basic

      Basic

      •

      SQL

      Data literacy

      Data Engineering

      Big Data

      DBMS/RDBMS

      duckdb

      7hr 6min

      You can learn things like this

      SQL構文およびSQLを用いたデータ分析能力

      DuckDBというデータウェアハウスの使い方

      [2025] SQLD問題が難しいあなたのためのノランイ176問題解説Course Thumbnail

      [2025] SQLD問題が難しいあなたのためのノランイ176問題解説

      datacodelab

      $4,704.00

      Basic / SQL, SQLD, Big Data, Oracle, MSSQL

      5.0

      (5)

      勉強はしたが問題を解けないあなたへのSQLD ノレンイ 176問題解説講座。 完講後、合格を超え専門家になります。 SQLD オールインワンパス！

      Basic

      Basic

      SQL, SQLD, Big Data

      [2025] SQLD問題が難しいあなたのためのノランイ176問題解説Course Thumbnail

      [2025] SQLD問題が難しいあなたのためのノランイ176問題解説

      datacodelab

      $4,704.00

      Basic / SQL, SQLD, Big Data, Oracle, MSSQL

      5.0

      (5)

      [2025] SQLD問題が難しいあなたのためのノランイ176問題解説

      勉強はしたが問題を解けないあなたへのSQLD ノレンイ 176問題解説講座。 完講後、合格を超え専門家になります。 SQLD オールインワンパス！

      Basic

      Basic

      •

      SQL

      SQLD

      Big Data

      Oracle

      MSSQL

      12hr 29min

      You can learn things like this

      実戦問題演習でSQLD試験最終対策

      OracleとSQL Server 活用 クエリ 実習

      複雑なクエリから単純なクエリまで SQL 徹底実習

      Rを活用したビッグデータ及び統計分析Course Thumbnail

      Rを活用したビッグデータ及び統計分析

      kpcre

      $15,288.00

      Beginner / R, Big Data

      New
      New

      Rプログラミングを利用して、誰でもビッグデータ分析ができるように、データの基本的な概念、Rの有用な関数とパッケージ、データ分析の実習を盛り込みました。

      Beginner

      Beginner

      R, Big Data

      Rを活用したビッグデータ及び統計分析Course Thumbnail

      Rを活用したビッグデータ及び統計分析

      kpcre

      $15,288.00

      Beginner / R, Big Data

      New
      New

      Rを活用したビッグデータ及び統計分析

      Rプログラミングを利用して、誰でもビッグデータ分析ができるように、データの基本的な概念、Rの有用な関数とパッケージ、データ分析の実習を盛り込みました。

      Beginner

      Beginner

      •

      R

      Big Data

      14hr 56min

      •

      Update 2025.06.27

      You can learn things like this

      Rを使ってデータスクレイピング手法とクローリング手法を習得し、望むデータを抽出できる。

      Rを活用してデータ分析方法を習得し、統計資料として作成できる。

      多様なタイプの資料を収集し、ビジネスの観点から活用できる。

      [管理コース＃3] DE、DBA（SSIS、SSAS、MachineLearning、BI、ETL）Course Thumbnail

      [管理コース＃3] DE、DBA（SSIS、SSAS、MachineLearning、BI、ETL）

      vmproductor0202

      $6,552.00

      Basic / Big Data, ssis, ssas, Machine Learning(ML), etl

      5.0

      (2)

      SSIS、SSAS、MachineLearning、BI、ETL。国内の書籍、YouTube、講義、ブログ、学園で見られない重要な技術を学ぶことができます。国内の大企業、米国の大企業、米国の州政府の資金援助機関の就職に興味のある方にもおすすめです。

      Basic

      Basic

      Big Data, ssis, ssas

      [管理コース＃3] DE、DBA（SSIS、SSAS、MachineLearning、BI、ETL）Course Thumbnail

      [管理コース＃3] DE、DBA（SSIS、SSAS、MachineLearning、BI、ETL）

      vmproductor0202

      $6,552.00

      Basic / Big Data, ssis, ssas, Machine Learning(ML), etl

      5.0

      (2)

      [管理コース＃3] DE、DBA（SSIS、SSAS、MachineLearning、BI、ETL）

      SSIS、SSAS、MachineLearning、BI、ETL。国内の書籍、YouTube、講義、ブログ、学園で見られない重要な技術を学ぶことができます。国内の大企業、米国の大企業、米国の州政府の資金援助機関の就職に興味のある方にもおすすめです。

      Basic

      Basic

      •

      Big Data

      ssis

      ssas

      Machine Learning(ML)

      etl

      3hr 40min

      You can learn things like this

      SSIS

      SSAS

      MSSQL

      BI

      知らないと退職レベル？データエンジニアリングの定石Course Thumbnail

      知らないと退職レベル？データエンジニアリングの定石

      altoformula

      $12,936.00

      Basic / Big Data, Data Engineering, Architecture

      5.0

      (4)

      100+

      データ時代、真の価値を発見せよ！📊 データに集中したアプリケーション設計は、もはや必須となりました。 最新トレンドと実務中心の事例で、会社が求めるインサイトと実力を身につけましょう。 効率的なデータ処理と設計の秘訣、今すぐ始めましょう！ あなたの次のステップ、データ中心の世界へ飛躍しましょう！

      Basic

      Basic

      Big Data, Data Engineering, Architecture

      知らないと退職レベル？データエンジニアリングの定石Course Thumbnail

      知らないと退職レベル？データエンジニアリングの定石

      altoformula

      $12,936.00

      Basic / Big Data, Data Engineering, Architecture

      5.0

      (4)

      100+

      知らないと退職レベル？データエンジニアリングの定石

      データ時代、真の価値を発見せよ！📊 データに集中したアプリケーション設計は、もはや必須となりました。 最新トレンドと実務中心の事例で、会社が求めるインサイトと実力を身につけましょう。 効率的なデータ処理と設計の秘訣、今すぐ始めましょう！ あなたの次のステップ、データ中心の世界へ飛躍しましょう！

      Basic

      Basic

      •

      Big Data

      Data Engineering

      Architecture

      8hr 6min

      You can learn things like this

      データアプリケーションのためのシステムデザイン

      データ・ファウンデーション知識

      ビッグデータパイプラインの設計

      データ入門者向け Azure データ基礎 完全攻略 (Microsoft DP-900 資格取得対策特講 2025年 最新コンテンツ)Course Thumbnail

      データ入門者向け Azure データ基礎 完全攻略 (Microsoft DP-900 資格取得対策特講 2025年 最新コンテンツ)

      daniellee

      $12,936.00

      Beginner / SQL, Big Data, Data Engineering, database, Data literacy

      コアデータ概念、Azureのリレーショナルデータ、Azureの非リレーショナルデータ、Azureの分析ワークロードに関する内容を、理論と実践を兼ね備えた形で提供することで、資格取得はもちろん、データプロフェッショナルとしての第一歩を踏み出す有意義な教育機会として活用いただけます。

      Beginner

      Beginner

      SQL, Big Data, Data Engineering

      データ入門者向け Azure データ基礎 完全攻略 (Microsoft DP-900 資格取得対策特講 2025年 最新コンテンツ)Course Thumbnail

      データ入門者向け Azure データ基礎 完全攻略 (Microsoft DP-900 資格取得対策特講 2025年 最新コンテンツ)

      daniellee

      $12,936.00

      Beginner / SQL, Big Data, Data Engineering, database, Data literacy

      データ入門者向け Azure データ基礎 完全攻略 (Microsoft DP-900 資格取得対策特講 2025年 最新コンテンツ)

      コアデータ概念、Azureのリレーショナルデータ、Azureの非リレーショナルデータ、Azureの分析ワークロードに関する内容を、理論と実践を兼ね備えた形で提供することで、資格取得はもちろん、データプロフェッショナルとしての第一歩を踏み出す有意義な教育機会として活用いただけます。

      Beginner

      Beginner

      •

      SQL

      Big Data

      Data Engineering

      database

      Data literacy

      6hr 4min

      You can learn things like this

      クラウド環境でデータベース概念の基礎を学習します

      コアデータ概念および関連する Microsoft Azure データサービスに関する基礎知識を習得

      クラウドデータサービス基本技術を習得

      $84.70