Data Science

/

Data Engineering

Big Data Processing (Spark) as Told by a Silicon Valley Leader

How is processing big data different from processing data with Pandas? Let's learn about Spark, an essential framework for big data processing.

(5.0) 2 reviews

39 students

Apache Spark
pyspark
Pandas
Big Data
SQL

What you will learn!

  • Spark

  • Big data processing

  • Databricks

  • Spark SQL

  • Data Engineering

Silicon Valley Engineer Explains
Data Pipeline Design Practices

336559_1

Spark, the standard for large-scale data processing

Pandas is useful for small-scale data processing, but it shows its limitations as the data grows. On the other hand , Spark is a proven big data processing framework chosen by numerous global companies .

It supports a wide range of tasks, from fast processing speeds and flexible scalability to real-time data analysis and machine learning pipeline construction, and is positioned as a key tool not only in data engineering but also in the AI field.

336559-2

Spark is no longer just an option; it is a core technology that must be learned in large-scale data environments.
This course is designed to help those who are new to Spark gradually build the performance optimization and analysis design capabilities necessary for practical work.

Why you should take this course

A lecture that provides a proper starting point for learning Spark

Once you understand the context of the technology, subsequent learning becomes much faster and clearer. This course is designed to help you gradually learn big data analysis technology by learning about the evolution of data processing systems and the natural transition from Pandas to Spark.

A course covering Spark performance optimization and practical logic implementation .

This course will help you implement a variety of scenarios, including user behavior analysis, channel flow analysis, and sales aggregation.
Learn the core strategies for designing and utilizing Spark quickly and flexibly. You will also learn Partition, Shuffling, Join methods, and advanced features such as Parquet, UDF, and UDAF in a step-by-step manner, so you can naturally develop the performance optimization and complex logic implementation capabilities required for practical work .

Experience with Spark in a production environment , beyond local

This course will teach you how to set up and run a Spark cluster using AWS EMR through hands-on practice.
From the latest features of Spark 4.0 to operational flows in a cloud environment, it is designed to help you gain the ability to utilize Spark at a production level beyond local training.

Rated 4.9! Highly praised by San Jose State University data science students

This course is included in the Master's program in Data Science at San Jose State University in the United States, and has received a high rating of 4.9 in actual educational settings. It is a practical course recognized overseas that can prepare for Spark introduction and practical transition at the same time.

Learn about these things

1⃣ Understanding the characteristics and challenges of big data processing through the history of big data processing development
2⃣ Learn more about data processing through comparison between Pandas and Spark
3⃣ Understanding the structure of Spark programs and learning Spark SQL programming
4⃣ Learn practical Spark programming with various examples on Databricks
5⃣ Using Spark on AWS EMR and Introduction to Spark 4.0

I recommend this to these people

I'm working on analyzing and processing big data.
Data engineers/analysts/scientists who must process large amounts of data due to the nature of their work

I want to go beyond Pandas scale
Pandas users who are curious about the challenges of big data processing.

I need to understand big data processing.
Developers who need to understand big data processing, even though it is not their main job

After class

  • Understand how big data processing has evolved and what challenges it faces

  • Learn about Spark, the big data standard, its composition and program structure based on Python.

  • Based on examples, you will understand the differences with Pandas, why SQL is efficient in processing structured data, and learn how to use Spark SQL.

Insights from Silicon Valley -proven big data experts

Hello. I am Ki-Yong Han, a data expert in Silicon Valley with 30 years of experience. After starting my career at Samsung Electronics, I moved to Silicon Valley at the age of 31 and spent the first 11 years developing web search at Yahoo, where I first encountered big data processing. Since then, I have built data teams at organizations such as Udemy (listed on NASDAQ in 2021) and Polyvore (acquired by Yahoo in 2015), and have provided data consulting to various Silicon Valley and Korean companies . Based on this, I will share essential skills for data engineers based on my experience teaching master's students at San Jose State University, which boasts the highest employment rate in Silicon Valley .

image

Things to note before taking the class

Practice environment

  • We use Spark 3.5 based on Python (PySpark). We will briefly introduce Spark 4.x, which is currently in preview development, at the end.

  • The practice environment is mainly

    I use Databricks Community Edition, but I also use Google Colab, Databricks Free Trial, and AWS EMR.


Learning Materials

Player Knowledge and Notes

  • Basic Python syntax (especially Pandas)


  • Basic SQL Knowledge (Beginner)


Recommended for
these people!

Who is this course right for?

  • Someone who is basically interested in big data processing

  • Someone with Pandas experience who wants to expand into big data processing technologies.

  • Someone who needs big data processing for their work.

Need to know before starting?

  • Experience using Pandas

  • Basic Python

  • Basic SQL

Hello
This is keeyonghan9539

790

Students

40

Reviews

23

Answers

4.8

Rating

5

Courses

컴퓨터 공학 석사 후 삼성전자에서 시작된 커리어가 친구덕에 실리콘밸리로 이어져 지난 29년간 13개의 다양한 스테이지의 회사를 다녔습니다 (창업, 대기업들, 다수의 스타트업들).

  • 야후: 엔지니어링 디렉터로 검색엔진 개발.

  • 유데미. 데이터팀을 처음 만들어 30명까지 성장. 2021년 10월에 나스닥 상장

  • 삼성전자

  • ...

중간에 11개월 쉬어보기도 했고 본의 아니게 엔젤투자자(Chartmetric, Goodtime.io, Select Star, EO, 비지니스 캔버스, ...), 어드바이저(몰로코, 블라인드, 월급쟁이부자들, ...), 컨설팅(SK텔레콤, 현대카드, 이마트 등등) 등의 역할을 하면서 나만의 브랜드를 만들었습니다. 실패를 실패가 아닌 교훈으로 보는 긍정의 힘과 꾸준함이라는 복리의 힘을 믿습니다.

https://www.linkedin.com/in/keeyonghan/

유투브 채널

월급쟁이부자들 강의

More

Curriculum

All

45 lectures ∙ (11hr 25min)

Course Materials:

Lecture resources
Published: 
Last updated: 

Reviews

All

2 reviews

5.0

2 reviews

  • diazepam57

    Reviews 8

    ∙

    Average Rating 5.0

    5

    60% enrolled

    • everythx

      Reviews 10

      ∙

      Average Rating 5.0

      5

      32% enrolled

      고스펙의 실무와 대학강의를 겸비하셔서인지 이해가 쉽게됩니다

      keeyonghan9539's other courses

      Check out other courses by the instructor!

      실리콘밸리 데이터 리더가 알려주는 Airflow 기초Course Thumbnail

      실리콘밸리 데이터 리더가 알려주는 Airflow 기초

      한기용

      $132,000.00

      Basic / airflow, snowflake, SQL, Python

      5.0

      (4)

      100+

      AI 시대가 도래하면서, 데이터 파이프라인 구성은 기업 경쟁력을 좌우하는 핵심 역량으로 자리 잡았습니다. 가장 널리 사용되는 Airflow를 활용해 효율적인 데이터 파이프라인을 구축하는 노하우를, 실전 경험과 풍부한 강의 경력을 지닌 실리콘밸리 전문가(前 유데미 데이터팀 헤드, 現 산호세 주립대 데이터 석사 과정 교수)에게 직접 배워보세요.

      Basic

      Basic

      airflow, snowflake, SQL

      [멘토링] 데이터로 미래를 그리다: 모두를 위한 데이터 리터러시Course Thumbnail

      [멘토링] 데이터로 미래를 그리다: 모두를 위한 데이터 리터러시

      한기용

      $264,000.00

      Beginner / 데이터 리터러시, 데이터 엔지니어링, 데이터 트랜스포메이션, EDA

      4.8

      (11)

      Update
      Update
      Mentoring
      Mentoring

      데이터에 관심있는 개인이나 리더를 대상으로 데이터 팀이 하는 일을 소개하고 조직의 데이터 활용 능력을 나타내는 데이터 문해력이 어떤 것인지 소개합니다.

      Beginner

      Beginner

      데이터 리터러시, 데이터 엔지니어링, 데이터 트랜스포메이션

      실리콘밸리 데이터 리더가 알려주는 기초 SQLCourse Thumbnail

      실리콘밸리 데이터 리더가 알려주는 기초 SQL

      한기용

      $71,500.00

      Basic / SQL, 데이터 리터러시, 데이터 엔지니어링, 빅데이터, DBMS/RDBMS, duckdb

      5.0

      (2)

      데이터를 하는 사람이라면 꼭 알아야하는 기본 기술은 SQL입니다. 이번 강의에서는 SQL을 데이터 분석이란 관점에서 실습 위주로 학습해보겠습니다. 실습은 DuckDB를 가지고 Google Colab에서 진행합니다.

      Basic

      Basic

      SQL, 데이터 리터러시, 데이터 엔지니어링

      Similar courses

      Explore other courses in the same field!

      SQLD 2주만에 따는 필승 합격법: 최신 개정판 기출문제로 초단기 공략Course Thumbnail

      SQLD 2주만에 따는 필승 합격법: 최신 개정판 기출문제로 초단기 공략

      Masocampus

      $89,100.00

      24%

      $66,830.00

      Beginner / SQL, SQLD

      4.6

      (7)

      100+
      Update
      Update

      SQL의 이해부터 실제 함수 활용까지, 최신 기출문제로 마무리하는 SQLD 자격증 완벽 대비!

      Beginner

      Beginner

      SQL, SQLD

      8시간 완성 SQLD(2과목)Course Thumbnail

      8시간 완성 SQLD(2과목)

      땃지

      $49,500.00

      Beginner / SQL, Oracle, SQLD, MSSQL

      4.9

      (40)

      500+

      8시간 안에 끝내는 SQLD 2과목! (그런데 이제 노랭이 문제 풀이를 곁들인)

      Beginner

      Beginner

      SQL, Oracle, SQLD

      베개 투자법: 자면서 돈 버는 AI 주식 자동 매매 머신Course Thumbnail

      베개 투자법: 자면서 돈 버는 AI 주식 자동 매매 머신

      치트키 알려주는 남자

      $99,000.00

      Beginner / Python, 딥러닝, 데이터 엔지니어링, FastAPI, 빅데이터

      4.7

      (3)

      100+
      Active Replies
      Active Replies

      AI로 여러분의 주식 투자를 혁신하세요! 이 강의에서 나스닥 상위 25개 종목을 겨냥한 실제 작동하는 AI 자동매매 시스템을 직접 만듭니다. 한국투자증권 API로 모의 투자에서 경험과 노하우를 쌓고, 실제 계좌로 AI 주식 자동매매를 할 수 있는 특별한 기회를 제공합니다. 주식 초보자도 문제없습니다. 주식의 기초 개념과 미국 주식을 해야 되는 이유를 쉽게 풀어드리며, 모든 소스 코드와 원격 지원까지 제공합니다. 지금부터 앞으로 60년 우리의 인생에서 투자는 필수 입니다. 여러분과 함께 할 AI 투자 파트너를 직접 만들어보세요!

      Beginner

      Beginner

      Python, 딥러닝, 데이터 엔지니어링

      [리뉴얼] 처음하는 파이썬 데이터 분석 (쉽게! 전처리, pandas, 시각화 전과정 익히기) [데이터분석/과학 Part1]Course Thumbnail

      [리뉴얼] 처음하는 파이썬 데이터 분석 (쉽게! 전처리, pandas, 시각화 전과정 익히기) [데이터분석/과학 Part1]

      잔재미코딩 DaveLee

      $77,000.00

      Basic / Python, Pandas

      4.9

      (303)

      3,900+

      데이터 분석 입문자를 위한 파이썬 데이터 분석 전과정 기본 기술 익히기 강의입니다. 실제 현업에서 데이터 분석 기술을 활용하고 있는 이커머스 기획자 및 개발자로써, 파이썬 데이터 분석 전과정을 쉽게 익히고, 바로 활용할 수 있도록 만들었습니다.

      Basic

      Basic

      Python, Pandas

      [리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]Course Thumbnail

      [리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]

      잔재미코딩 DaveLee

      $69,300.00

      Basic / Python, SQL, MySQL, DBMS/RDBMS, 데이터 엔지니어링

      4.8

      (273)

      4,100+
      Update
      Update

      이 강의를 통해 SQL과 데이터베이스의 이해, SQL 문법, 실제 활용을 위한 데이터베이스 설계, 프로그래밍을 통한 데이터베이스 활용, 데이터 분석 활용 사례까지 익힐 수 있습니다.

      Basic

      Basic

      Python, SQL, MySQL

      중고급 SQL과 실전 데이터 분석 101 문제 풀이Course Thumbnail

      중고급 SQL과 실전 데이터 분석 101 문제 풀이

      잔재미코딩 DaveLee

      $69,300.00

      Basic / SQL, MySQL, DBMS/RDBMS

      5.0

      (7)

      300+

      중고급 SQL을 익히고, 현업 수준의 실전 데이터 분석 문제 101 가지를 함께 풀며, 탄탄한 SQL 데이터 분석 역량을 다집니다.

      Basic

      Basic

      SQL, MySQL, DBMS/RDBMS

      Do it! SQL 입문Course Thumbnail

      Do it! SQL 입문

      이지스퍼블리싱

      Free

      Beginner / SQL

      4.6

      (25)

      2,100+

      굵직한 글로벌 기업의 현직 데이터베이스 전문가가 20년 간의 기업 실무와 강의 경험을 아낌없이 담았다!

      Beginner

      Beginner

      SQL

      실리콘밸리 엔지니어와 함께하는 Apache AirflowCourse Thumbnail

      실리콘밸리 엔지니어와 함께하는 Apache Airflow

      미쿡엔지니어

      $66,000.00

      Basic / airflow, 빅데이터, 데이터 엔지니어링, Python

      4.7

      (37)

      500+
      Active Replies
      Active Replies

      소프트웨어 데이터 파이프라인을 만들 때 가장 많이 사용하는 Orchestrator(오케스트레이터)인 Apache Airflow(아파치 에어플로우)를 배우실 수 있습니다.

      Basic

      Basic

      airflow, 빅데이터, 데이터 엔지니어링

      초보자를 위한 BigQuery(SQL) 입문Course Thumbnail

      초보자를 위한 BigQuery(SQL) 입문

      카일스쿨

      Free

      Basic / bigquery, SQL, 데이터 리터러시, Google Cloud Platform

      5.0

      (161)

      6,200+
      Update
      Update
      Active Replies
      Active Replies

      초보자를 위한 BigQuery(SQL) 입문 강의입니다. 데이터를 가공하는 방법이 궁금하신 분에게 추천합니다.

      Basic

      Basic

      bigquery, SQL, 데이터 리터러시

      FastAPI 완벽 가이드Course Thumbnail

      FastAPI 완벽 가이드

      권 철민

      $77,000.00

      Intermediate / Python, FastAPI, SQL, SQLAlchemy

      4.9

      (34)

      500+

      본 강의는 FastAPI의 핵심 기능과 함께, 웹서비스 개발의 전 과정을 익힐 수 있도록 구성 하였습니다. 본 강의를 통해 여러분을 현장에서 필요로 하는 FastAPI 전문 개발자로 발돋움 시켜 드릴 것입니다.

      Intermediate

      Intermediate

      Python, FastAPI, SQL

      [Python 실전] 웹크롤링과 데이터분석 : 전세계 축구 선수 몸값 분석Course Thumbnail

      [Python 실전] 웹크롤링과 데이터분석 : 전세계 축구 선수 몸값 분석

      코딩교양스쿨

      Free

      Basic / Python, Pandas, 웹 크롤링, Beautifulsoup

      4.8

      (94)

      2,600+

      손흥민 통산 100호골 기념 프로젝트! 트랜스퍼마켓(Transfermarkt) 실전 크롤링 & 데이터 분석

      Basic

      Basic

      Python, Pandas, 웹 크롤링

      빅데이터분석기사 필기 올인원: 3주에 끝내는 완벽 대비Course Thumbnail

      빅데이터분석기사 필기 올인원: 3주에 끝내는 완벽 대비

      Masocampus

      $159,500.00

      24%

      $119,630.00

      Basic / 빅데이터분석기사, 빅데이터, 통계, 인공지능(AI)

      4.8

      (12)

      100+
      Update
      Update

      빅데이터분석기사 자격증 취득을 위한 완벽한 로드맵! 데이터 분석 초보자부터 전문가까지 합격을 위한 체계적인 학습 과정을 제공합니다.

      Basic

      Basic

      빅데이터분석기사, 빅데이터, 통계

      데이터분석 준전문가(ADsP) 자격증 대비Course Thumbnail

      데이터분석 준전문가(ADsP) 자격증 대비

      SoYoung Yoon

      $132,000.00

      Basic / ADsP, 빅데이터, R

      4.8

      (60)

      700+
      Update
      Update

      데이터 분석 전문가 양성이 필요한 시점에 본 과정은 국가 공인 '데이터분석 준전문가' 자격증을 취득하기 위한 과정입니다.

      Basic

      Basic

      ADsP, 빅데이터, R

      [백문이불여일타] 데이터 분석을 위한 중급 SQLCourse Thumbnail

      [백문이불여일타] 데이터 분석을 위한 중급 SQL

      데이터리안

      $38,500.00

      Basic / SQL

      4.9

      (869)

      5,000+

      인프런 누적 수강생 10,000명 이상, 풍부한 온/오프라인 강의 경험을 가진 데이터리안의 SQL 중급 강의. SQL 중급 이론을 배우고, 실습 문제를 함께 풀어봅니다.

      Basic

      Basic

      SQL

      [퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)Course Thumbnail

      [퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

      퇴근후딴짓

      $99,000.00

      Beginner / 빅데이터분석기사, 빅데이터, Python, Pandas, 머신러닝

      4.9

      (531)

      3,900+
      Update
      Update
      Active Replies
      Active Replies

      비전공자, 입문자가 빅데이터 분석기사 실기를 빠르게 취득할 수 있도록 안내해드려요! 이론은 가볍게, 실전은 확실하게 복잡한 배경지식 없이도, 기출문제를 중심으로 시험에 꼭 나오는 포인트만 집중 학습합니다.

      Beginner

      Beginner

      빅데이터분석기사, 빅데이터, Python

      [리뉴얼] 처음하는 파이썬 머신러닝 부트캠프 (쉽게! 실제 캐글 문제 풀며 정리하기) [데이터분석/과학 Part2]Course Thumbnail

      [리뉴얼] 처음하는 파이썬 머신러닝 부트캠프 (쉽게! 실제 캐글 문제 풀며 정리하기) [데이터분석/과학 Part2]

      잔재미코딩 DaveLee

      $77,000.00

      Basic / 머신러닝, Kaggle, Pandas, Python

      4.9

      (93)

      1,500+

      강사가 처음 머신러닝을 익혔을 때, 실패했던 경험을 바탕으로, 쉽게 머신러닝을 이해하고, 실제 문제에 적용할 수 있도록 기존 강의와 다르게, 새롭게 꾸민 강의입니다

      Basic

      Basic

      머신러닝, Kaggle, Pandas

      비전공자도 이해할 수 있는 MySQL 성능 최적화 입문/실전 (SQL 튜닝편)Course Thumbnail

      비전공자도 이해할 수 있는 MySQL 성능 최적화 입문/실전 (SQL 튜닝편)

      JSCODE 박재성

      $77,000.00

      Basic / MySQL, DBMS/RDBMS, query-tuning, SQL

      5.0

      (102)

      1,000+
      Update
      Update
      Active Replies
      Active Replies

      비전공자 입장에서도 쉽게 이해할 수 있고, 실전에서 바로 적용 가능한 'MySQL 성능 최적화 입문/실전 (SQL 튜닝편)' 강의를 만들어봤습니다!

      Basic

      Basic

      MySQL, DBMS/RDBMS, query-tuning

      파이썬 무료 강의 (활용편5) - 데이터 분석 및 시각화Course Thumbnail

      파이썬 무료 강의 (활용편5) - 데이터 분석 및 시각화

      나도코딩

      Free

      Basic / Pandas, Matplotlib, Python

      5.0

      (95)

      4,100+

      파이썬을 활용하여 많은 양의 데이터를 분석하고, 분석한 데이터를 그래프 형태로 시각화하여 한 눈에 쉽게 파악할 수 있게 됩니다.

      Basic

      Basic

      Pandas, Matplotlib, Python

      BigQuery(SQL) 활용편(퍼널 분석, 리텐션 분석)Course Thumbnail

      BigQuery(SQL) 활용편(퍼널 분석, 리텐션 분석)

      카일스쿨

      $99,000.00

      Intermediate / bigquery, SQL, Firebase, Google Sheets, Google Analytics

      4.9

      (37)

      400+
      Active Replies
      Active Replies

      Google Analytics 4, Firebase 데이터의 형태의 앱 로그 분석을 진행합니다. 배열, 윈도우 함수, 퍼널, 리텐션, Google Sheets 등 실무에서 사용할 때 유용한 내용들을 담았습니다.

      Intermediate

      Intermediate

      bigquery, SQL, Firebase

      [백문이불여일타] 데이터 분석을 위한 기초 SQLCourse Thumbnail

      [백문이불여일타] 데이터 분석을 위한 기초 SQL

      데이터리안

      $16,500.00

      Beginner / SQL

      4.9

      (1,091)

      5,600+

      인프런 누적 수강생 10,000명 이상, 풍부한 온/오프라인 강의 경험을 가진 데이터리안의 SQL 기초 강의. SQL 기초 이론을 배우고, 해커랭크 문제 10개를 함께 풀어봅니다.

      Beginner

      Beginner

      SQL

      $84.70