Inflearn brand logo image
Inflearn brand logo image
BEST

실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크

실리콘밸리 소프트웨어 엔지니어에게 배우는 빅데이터를 처리하는 방법 & 파이썬을 이용해 아파치 스파크로 빅데이터 코드를 개발하는 법을 가르쳐 드립니다. 현재 14년차 소프트웨어 개발자로 웹 어플리케이션, 빅데이타 그리고 SRE & 데브옵스까지 파이썬으로 다 처리하고 있습니다. 파이썬을 이용해, 빅데이터 직군에서 꼭 알아야하는 아파치 스파크에 대해서 쉽고 깊게 배울 수 있는 기회를 절대 놓치지 마세요!

중급자를 위해 준비한
[데이터 분석, 데이터 엔지니어링] 강의입니다.

이런 걸 배울 수 있어요

  • PySpark(파이스파크)

  • Apache Spark(아파치 스파크)

  • 빅데이터

  • 빅데이터 머신 러닝

  • 실시간 빅데이터 처리

  • Apache Cassandra

  • Apache Kafka

  • Apache Iceberg

실리콘밸리 엔지니어에게 직접 배우는
빅데이터 강의 들어보실래요? 🤗

실리콘밸리 개발자의 노하우를
내 방에서! 🖥️

빅데이터 개발을 실리콘밸리 개발자의 노하우와 함께 쉽게 배울 수 있습니다.

실리콘 밸리를 포함한 전 세계의 많은 대기업과 금융기관에서는 Apache Spark를 활용하여 대용량 데이터를 분석하고 머신 러닝 모델을 만들고 있습니다. 빅데이터를 다루는 일은 데이터 엔지니어와 데이터 사이언티스트의 필수 능력입니다. 그리고 빅데이터를 수집하고 분석하기 위해서는 이제 Spark의 능력은 필수입니다.

Spark는 처음부터 분산 데이터 처리 프레임을 기반으로 만들어졌기 때문에 적게는 한 대부터 많게는 수백 대의 서버에서 용량을 확장해 가면서 실시간으로 빅데이터를 처리하고 또한 이를 머신러닝 모델로 만들 수 있습니다. 현재 저는 페타바이트(PB) 이상의 데이터를 관리하며, 100TB 이상의 메모리를 운용하고 있습니다.

본 강의를 들은 후에는 아파치 스파크(Apache Spark)의 핵심 Framework에 대해 이해하고, 빅데이터를 쉽게 수집 및 가공할 수 있으며, 간단한 머신러닝 모델을 여러 대의 서버에 이용해서 만들 수 있을 겁니다. 파이썬 기본 문법을 알고 있다면 충분히 공부할 수 있어요.

빅데이터 분석을 위한 Spark의 RDD 및 Dataframe 활용 능력

머신러닝 Framework을 구성하는 다양한 기술 요소에 대한 이해 

실시간 데이터를 분석하기 위한 Spark Streaming에 대한 이해 


이런 분들께 추천해요 🙋

많은 양의 데이터를 다뤄야 하는
백엔드 개발자

빅데이터 분야를
공부해보고 싶은 개발자

스파크의 깊은 지식을 배우고
싶은 데이터 엔지니어


이런 걸 배워요 📚

1. 아파치 스파크 소개

  • 아파치 스파크에 대한 소개
  • 도커(Docker)를 이용한 설치 방법
  • 데이터브릭스 커뮤니티 에디션 가입 및 이용 방법

2. 아파치 스파크 RDD의 기본적인 특징과 예제

  • 아파치 스파크의 RDD(Resilient Distributed Dataset)의 기본적인 특징과 이용 방법
  • 아파치 스파크 RDD 예제 소개

3. 아파치 스파크 SQL과 Dataframe(데이터 프레임)

  • 아파치 스파크 SQL과 Dataframe의 소개와 응용 방법
  • 아파치 스파크 SQL, 데이터 프레임 예제

4. 아파치 스파크 엔진 Deep dive

  • 현업 종사자도 잘 모르는 아파치 스파크 엔진 지식


5. 아파치 스파크 Machine Learning(머신러닝) 라이브러리, MLlib

  • 간단한 머신러닝의 알고리즘
  • 아파치 스파크로 머신러닝 모델을 만드는 방법

6. 아파치 스파크 Streaming, 실시간 데이터 처리 라이브러리

  • 아파치 스파크로 실시간 데이터를 다루는 방법 


예상 질문 Q&A 💬

Q. 비전공자도 들을 수 있는 강의인가요?

네, 하지만 파이썬의 기본 능력과 데이터를 다루었던 경험이 있으셔야 이해가 쉬울 수 있습니다.

파이썬이 처음이시라면 유튜브를 통해 파이썬 기초를 학습하거나 아래 강의를 먼저 수강해주세요! 기초 부분만 보셔도 전체 강의를 따라오는 데 어려움은 없을 것입니다.

Q. 수업 내용을 어느 수준까지 다루나요?

스파크의 기초부터, 현업에 필요한 고급 정보까지 다룹니다.

Q. 왜 스파크를 배워야 하나요?

국내뿐만 아니라 실리콘 밸리 대부분의 회사에 스파크로 빅데이터를 처리하고 있습니다. 그만큼 스파크로 데이터를 처리하시는 방법을 아신다면, 취업하시기도 한결 쉬우실 겁니다.


지식공유자 소개 ✒️

이력 사항

포트폴리오/개인 영상



수강 전 참고 사항 📢

실습 환경

  • 운영 체제 및 버전(OS): MacOS, Linux, Ubuntu
  • 사용 도구: 가장 인기 있는 Docker를 사용(공개된 도커 이미지 사용), 데이타브릭스 커뮤니티 에디션
    • 본 강의 실습은 Docker로 환경 설정이 되어 있습니다. Docker에 대해 더 알고 싶으시다면, 제 무료 Docker 강의를 참고해 보시길 추천드립니다. 강의 링크: [https://inf.run/8eFCL]

학습 자료

  • 소스 코드 및 첨부 자료 제공

이런 분들께
추천드려요!

학습 대상은
누구일까요?

  • 파이썬의 기본적인 문법을 아시는 분

  • 빅데이터 직군으로 이직하시고 싶은 분

  • 상대적으로 안정적인 벡엔드 엔지니어가 되고 싶은 분

  • 백엔드 엔지니어로 이직하시고 싶은 분

  • 아파치 스파크의 최신 정보와 세부사항을 아시고 싶으신 분

선수 지식,
필요할까요?

  • 파이썬

  • Docker(다커)

안녕하세요
미쿡엔지니어입니다.

9,228

수강생

568

수강평

296

답변

4.8

강의 평점

24

강의

한국에서 끝낼 거야? 영어로 세계 시장을 뚫어라! 🌍🚀

안녕하세요. UC Berkeley에서 💻 컴퓨터 공학(EECS)을 전공하고, 실리콘 밸리에서 15년 이상을 소프트웨어 엔지니어로 일해왔으며, 현재는 실리콘밸리 빅테크 본사에서 빅데이터와 DevOps를 다루는 Staff Software Engineer로 있습니다.

  • 🧭 실리콘 밸리의 혁신 현장에서 직접 배운 기술과 노하우를 온라인 강의를 통해 이제 여러분과 함께 나누고자 합니다.

  • 🚀 기술 혁신의 최전선에서 배우고 성장해 온 저와 함께, 여러분도 글로벌 무대에서 경쟁할 수 있는 역량을 키워보세요!

  • 🫡 똑똑하지는 않지만, 포기하지 않고 꾸준히 하면 뭐든지 이룰수 있다는 점을 꼭 말씀드리고 싶습니다. 항상 좋은 자료로 옆에서 도움을 드리겠습니다

 

더보기

커리큘럼

전체

64개 ∙ (7시간 40분)

해당 강의에서 제공:

수업자료
강의 게시일: 
마지막 업데이트일: 

수강평

전체

53개

4.6

53개의 수강평

  • 최규영님의 프로필 이미지
    최규영

    수강평 1

    평균 평점 5.0

    5

    32% 수강 후 작성

    아직 수강 중이지만 전체적인 개요, 강의 구성, 설명 방식이 잘 짜여 있어 만족스럽습니다. 코드 문법을 하나하나 자세히 설명하진 않지만, 코드를 보며 실행 흐름과 동작 원리를 설명해주기 때문에, 어느 정도 코딩 경험이 있는 분이라면 이해하며 학습하기에 적합한 강의라고 생각합니다.

    • 미쿡엔지니어
      지식공유자

      안녕하세요 최규영님, 시간내서 좋은 리뷰 남겨주셔서 감사합니다.

  • gogo91rla님의 프로필 이미지
    gogo91rla

    수강평 2

    평균 평점 5.0

    5

    14% 수강 후 작성

    현재 미국에서 Data Engineer로 커리어 변경하고 일한지 1년 정도되가는데, Spark 개념에 대해서 다시 한번 리뷰하고 모르던 내용도 배울 수 있어서 많은 도움이 됩니다!!

    • 미쿡엔지니어
      지식공유자

      안녕하세요 gogo91rla님, 시간내서 좋은 리뷰 남겨주셔서 감사합니다! 도움이 되었다니 다행입니다!

  • Ophelie님의 프로필 이미지
    Ophelie

    수강평 1

    평균 평점 5.0

    5

    31% 수강 후 작성

    중요한 내용만 속성으로 배우고, 샘플 데이터나 소스가 잘 정리되어 있어서 효율적으로 공부할 수 있습니다!

    • 미쿡엔지니어
      지식공유자

      안녕하세요 Ophelie님, 시간내서 좋은 리뷰 남겨주셔서 정말 감사드립니다!

  • 공준호님의 프로필 이미지
    공준호

    수강평 2

    평균 평점 5.0

    5

    100% 수강 후 작성

    좋은 내용 쉽게 잘 이해하고 들었습니다!

    • 미쿡엔지니어
      지식공유자

      안녕하세요 공준호님, 시간내서 좋은 리뷰 남겨주셔서 감사합니다.

  • 심준걸님의 프로필 이미지
    심준걸

    수강평 1

    평균 평점 5.0

    5

    100% 수강 후 작성

    좋은 강의 잘 수강 했습니다. 실무로 Spark 관련 업무를 진행하기 위해 수강 했는데요. 이론적인 부분과 실습을 핵심적인 내용만 잘 다뤄주셔서 도움이 많이 되었습니다.

    • 미쿡엔지니어
      지식공유자

      안녕하세요 심준걸님, 시간내서 좋은 리뷰 남겨주셔서 감사합니다. 실무에서 도움이 되었다니 기쁘네요!

미쿡엔지니어님의 다른 강의

지식공유자님의 다른 강의를 만나보세요!

비슷한 강의

같은 분야의 다른 강의를 만나보세요!

연관 로드맵

강의가 포함된 로드맵으로 학습해 보세요!

월 ₩14,850

5개월 할부 시

25%

₩99,000

₩74,250