스파크 머신러닝 완벽 가이드 - Part 1

강의 자료와 실습 코드 다운로드 받기

Spark 아키텍처와 RDD 개요

Spark의 RDD, DataFrame, SQL 비교

Spark Machine Learning 개요

실습용 ipynb 파일을 Databricks에 로드하기

groupBy() 메소드 이해하기 - 01

groupBy() 메소드 이해하기 - 02

withColumn()으로 신규 컬럼 추가, 컬럼 update, 컬럼타입 변경하기 - 02

Spark DataFrame의 컬럼과 레코드 삭제하기

Spark DataFrame의 Null인 레코드 삭제하기

Pandas와 Spark DataFrame에서 None, Null 그리고 NaN 구분하기

Spark DataFrame에서 Null과 NaN 데이터 찾기

Spark DataFrame의 결손 데이터 처리하기

Spark DataFrame에 사용자 정의함수(UDF) 적용하기

Spark DataFrame에 when을 적용하여 조건별로 데이터 처리하기

Spark SQL 실습 및 DataFrame API 복습 - 02

Spark SQL 실습 및 DataFrame API 복습 - 03

Databricks에 내장된 그래프 기능으로 SQL 수행 결과를 차트 시각화 표현하기

Spark Machine Learning의 주요 특징과 구성요소

Spark Machine Learning으로 붓꽃 데이터 예측 ML 모델 구현하기 - 02

Spark Machine Learning으로 붓꽃 데이터 예측 ML 모델 구현 로직 정리

Pipeline의 이해

Pipeline 실습

교차검증과 그리드 기반 하이퍼 파라미터 튜닝 개요

교차 검증과 그리드 기반 하이퍼 파라미터 튜닝 실습 - 01

교차 검증과 그리드 기반 하이퍼 파라미터 튜닝 실습 - 02

TrainValidationSplit로 하이퍼 파라미터 튜닝 실습

MLFlow Tracking 개요

인코딩 개요 및 레이블 인코딩 실습

원핫 인코딩 실습

Standard Scaling과 MinMax Scaling 적용하기

타이타닉 생존자 예측 ML 모델 구현하기 - 기본 EDA

타이타닉 생존자 예측 ML 모델 구현하기 - SQL과 Databricks의 그래프 기능을 이용한 EDA - 01

타이타닉 생존자 예측 ML 모델 구현하기 - 결손 데이터 처리, 컬럼 가공, 인코딩 수행하기

타이타닉 생존자 예측 ML 모델 구현하기 - 학습/예측/평가 및 교차 검증과 하이퍼 파라미터 튜닝하기

Spark DecisionTreeClassifier, RandomForestClassifier, GBTClassifier의 개요 및 주요 하이퍼 파라미터

RandomForestClassifier, GBTClassifier 학습 및 예측 실습

Spark ML Classification을 위한 Evaluation 개요

Spark ML Classification을 위한 Evaluation 실습

Databricks용 XGboost의 이해 및 주요 하이퍼 파라미터

Databricks Spark에서 XGBoost 학습 및 예측 실습 - 01

Databricks Spark에서 XGBoost 학습 및 예측 실습 - 02

Spark LightGBM을 위한 mmlspark 라이브러리를 Databrick에 설치하기

Spark LightGBM의 주요 하이퍼 파라미터

Spark에서 LightGBM 학습 및 예측 실습

HyperOpt를 이용한 Bayesian 최적화 강의 시작 전 공지

그리드 기반 하이퍼 파라미터 튜닝의 문제와 베이지안 최적화 기반의 하이퍼 파라미터 튜닝 이해

Kaggle Santander 데이터 세트 로딩 및 전처리

Kaggle Santander 데이터를 Stratified 기반으로 나누기

HyperOpt를 이용하여 XGBoost 하이퍼 파라미터 튜닝

HyperOpt를 이용하여 LightGBM 하이퍼 파라미터 튜닝

회귀 개요

Spark ML Regression 개요와 LinearRegression Estimator 상세

Spark 선형회귀 실습

Spark 규제 선형회귀 및 회귀 트리 실습

주요 도메인에 따른 분석 요소 도출 하기

분석을 위한 주요 데이터 처리 기술 및 데이터 연결관계의 이해

SQL 조인 시 데이터 집합 레벨 변화 및 Inner, Left/Right Outer 조인의 이해

SQL Group by와 Group by Case When의 이해

Feature Engineering의 개요

캐글 Instacart Market Basket Analysis 경연 대회 소개 및 경연용 데이터 세트 설명 개요

캐글 Instacart 데이터 세트를 다운로드 후 Databricks로 업로드 하기

캐글 Instacart 데이터 세트를 Spark DataFrame으로 변환 및 SQL 적용을 위한 테이블 변환

캐글 Instacart 데이터 세트의 주요 테이블 이해 - 01

캐글 Instacart 데이터 세트의 주요 테이블 이해 - 02

SQL로 테이블의 특정 컬럼별 분포도와 히스토그램 도출하기 및 시각화 - 02

SQL로 상품코드/상품 중분류/상품 대분류 별로 전체주문/재주문 건수 및 재주문 비율 분석 및 시각화

Spark SQL 수행 결과를 Databricks 시각화를 사용하지 않고 Matplotlib과 Seaborn으로 시각화 하기

SQL로 상품별 재주문 건수 및 비율 분석과 시각화 - 01

SQL로 상품별 재주문 건수 및 비율 분석과 시각화 - 02

SQL로 상품코드/상품 중분류별 고유 사용자 건수 및 비율 분석과 시각화

SQL로 상품별 이전주문 이후 걸린 기간/요일/시간 속성 분석과 시각화

사용자별 개별 속성 분석, 사전 환경 준비 및 기반 테이블 생성

사용자별 주문 건수 관련 속성 분석과 시각화 - 01

사용자별 주문 건수 관련 속성 분석과 시각화 - 02

사용자별 재주문 관련, 이전 주문 이후 걸린 기간등의 속성 분석과 시각화

사용자-상품별 관련 속성 분석과 시각화

Instacart의 피처 엔지니어링을 통한 ML 학습 모델용 테이블(데이터 세트) 생성 개요

사용자레벨, 상품레벨, 사용자-상품레벨의 분석 테이블 만들기 - 02

사용자-상품 레벨로 모든 분석 테이블 결합하기

ML 모델을 위한 학습과 테스트 테이블(데이터 세트) 생성하기 - 01

ML 모델을 위한 학습과 테스트 테이블(데이터 세트) 생성하기 - 02

학습과 테스트 테이블을 Parquet 파일에서 재 로딩하기

학습 데이터 전처리 및 랜덤 포레스트 모델로 학습하기

학습된 랜덤 포레스트 모델로 예측하기

예측된 결과를 Kaggle 제출을 위한 Submission 파일로 만들기 - 01

예측된 결과를 Kaggle 제출을 위한 Submission 파일로 만들기 - 02

Kaggle에서 Submission 결과 확인하기

LightGBM으로 모델 재학습 및 평가 - Databricks 클러스터 재 생성 및 mmlspark 라이브러리 import하기

LightGBM으로 모델 학습 수행

LightGBM 모델로 예측 후 Kaggle에서 평가 받기

hyperopt를 이용하여 LightGBM 하이퍼 파라미터 튜닝하기 - 01

hyperopt를 이용하여 LightGBM 하이퍼 파라미터 튜닝하기 - 02

hyperopt를 이용하여 LightGBM 하이퍼 파라미터 튜닝하기 - 03