예제로 배우는 딥러닝 자연어 처리 입문 NLP with TensorFlow - RNN부터 BERT까지

실습 colab 링크 확인하는 법

강의 슬라이드 다운로드

자연어 처리 응용 문제영역 소개 1

자연어 처리 용어 정리

토크나이징(Tokenizing) & 원핫인코딩(One-hot Enconding)

자연어 처리를 위한 기초 수학

NLTK 라이브러리 & NLTK를 이용한 토크나이징

Google Colab 소개

자연어 처리를 위해 학습해야하는 Python 라이브러리들 - Pandas, Numpy, HuggingFace

실습 1 - 토크나이징과 원핫인코딩(One-hot Encoding) 실습

언어모델(Language Modelling)의 개념과 활용사례 - GitHub Copilot

N-Gram 언어 모델

실습 1 - Count에 기반한 N-Gram 언어 모델(Language Modelling) 실습

Count에 기반한 N-Gram 모델의 문제점 & 자연어처리를 위한 순환신경망(RNN)

Char-RNN의 개념

실습 2 - Char-RNN을 활용한 언어 모델(Language Modelling) 실습

임베딩(Embedding)의 개념과 장점

Word2Vec 기법 소개

실습 1 - TensorFlow를 이용한 Word2Vec 구현

기계 번역 방법론의 진화

Seq2Seq 모델

Teacher Forcing

실습 1 - TensorFlow와 Seq2Seq 모델을 이용해서 포르투칼어-영어 번역 수행해보기

Transformer 모델 소개 - Attention is All You Need

실습 1 - Tensorflow와 Transformer 모델을 이용해서 포르투칼어-영어 번역 수행해보기

BERT(Bidirectional Encoder Representations from Transformers) 모델 소개

실습 1 - BERT를 이용해서 IMDB Movie Review Dataset에 대한 Text Classification 해보기 (BERT 영어 Fine-Tuning)

실습 2 - BERT를 이용해서 네이버 영화리뷰 데이터셋(NSMC)에 대한 Text Classification 해보기 (BERT 한국어 Fine-Tuning) colab 링크

QA 응용 - SQuAD(Stanford Question Answering Dataset) 데이터셋 소개

실습 1 - QA 응용 - BERT를 이용해서 SQuAD(Stanford Question Answering Dataset) 데이터셋에 대한 Answer 예측해보기 (BERT 영어 Fine-Tuning)

실습 2 - QA 응용 - BERT를 이용해서 KorQuAD(Korean Question Answering Dataset) 데이터셋에 대한 Answer 예측해보기 (BERT 한국어 Fine-Tuning)