강화학습 입문에서 Deep Q-learning/Policy Gradient까지

강의 자료 (강의 교재, 소스 코드)

Anaconda 설치

VSCODE 설치

Jupyter Notebook 과 Google Colab 사용법(OPTIONAL)

강화 학습의 역사 - part 2

강화 학습의 역사 - part 3

강화 학습의 구성 요소 - Policy (정책)

강화 학습의 구성 요소 - Value Function (가치 함수)

강화 학습의 구성 요소 - 환경과 모델 (Environment & Model)

강화 학습 Task의 종류

강화 학습 문제 해결 접근 방식과 Gymnasium 소개 및 설치

실습 - Cartpole 환경 이해 및 시각화

마르코프 특성 과 유한 MDP (Finite MDP)

MDP의 Dynamics (동역학)

결정론적 vs. 확률론적 환경(Deterministic vs. Stochastic Environment)

실습 - Frozen Lake - Policy 함수를 이용한 길 찾기

가치 함수 (Value Function)와 Reward (보상)

보상 (Reward)과 이득 (Return) 계산

할인 (Discounting) 과 가치 함수 (Value Function)

상태 가치 함수 (State Value Function) 와 행동 가치 함수 (Action Value Function)

가치 함수 적용 사례

벨만 방정식 (Bellman Equation)

최적 정책 (Optimal Policy)

최적 정책 예제 (Simple Grid World)

복잡한 예제와 최적 정책 결정 방법

최적 정책을 구하는 3가지 방법과 강화 학습 알고리즘 종류

반복 정책 평가 (Iterative Policy Evalution)

반복 정책 평가 (Iterative Policy Evalution) 작동 원리 이해

실습 - 얼어붙은 호수(Frozen Lake) - 반복 정책 평가 알고리즘 구현

정책 반복 (Policy Iteration)

실습 - 얼어붙은 호수(Frozen Lake) - 정책 반복 알고리즘 구현

GPI(Generalized Policy Iteration)와 가치 반복 (Value Iteration)

동적 계획법 (Dynamic Programming) 요약

모델 프리 방법(Model-Free Methods)

몬테카를로 방법 (Monte-Carlo Method)과 최초 접촉 (First Visit) 정책 평가 알고리즘

블랙잭 게임(Blackjack Game) 설명

블랙잭 게임(Blackjack Game)문제 정의

최초 접촉 (First Visit) MC 방법의 블랙잭 게임 구현 문제 설명

실습 - 최초 접촉 (First Visit) MC 방법의 블랙잭 게임 구현에 필요한 사전 파이썬 지식

실습 - 최초 접촉 (First Visit) MC 방법의 블랙잭 게임 구현 part 1

실습 - 최초 접촉 (First Visit) MC 방법의 블랙잭 게임 구현 part 2

MC 방법의 장점 및 GPI (Generalized Policy Interation)

탐색과 활용 (Exploration vs. Exploitation) 이해 및 e-soft 정책 알고리즘 설명

실습 - 최초 접촉 (First Visit) MC control (e-soft) 블랙잭 게임 문제 설명 및 구현 part 1

실습 - 최초 접촉 (First Visit) MC control (e-soft) 블랙잭 게임 구현 part 2

시간차 학습 (TD Learning) 이론

On-Policy 와 Off-Policy 학습 차이점

Q-learning 알고리즘

Frozen Lake 환경을 이용한 Q-learning 이해

실습 - Frozen Lake 환경을 이용한 Q-learning 구현

실습 - Taxi 환경 설명 및 Q-learning 구현

실습 - 절벽 걷기 (Cliff Walking) 환경에서 Q-learning 과 Sarsa 알고리즘 비교

함수 근사 (Function Approximation)

함수 근사의 Observation Space 정의 - state 표현 방법

Deep Q-learning 이해

Q-learning 과 Deep Q-learning 비교

Experience Replay (Replay Memory)

Deep Q-learning 알고리즘 (2013, DeepMind)

Pytorch Basic(OPTIONAL) - part 1

Pytorch Basic(OPTIONAL) - part 2

실습 - Pytorch Basic(OPTIONAL) - part 1

실습 - Pytorch Basic(OPTIONAL) - part 2

Deep Q-learning 구현 설명

DNQ 알고리즘 (2015, DeepMind) 설명 및 구현 환경 설명

실습 - Mountain Car DQN 알고리즘 구현 - part1

실습 - Mountain Car DQN 알고리즘 구현 - part2

정책 경사(Policy Gradient) 개요

함수 근사(Function Approximation)를 이용한 정책 학습

정책 근사(Policy Approximation) 정의와 장단점

정책 경사에 잘 맞는 문제

정책 최적화(Policy Optimization)의 목적 함수

정책 경사도 공식 이해

스코어 함수와 Policy Parameter Update 공식

Policy Gradient 와 Deep Q-learning 비교

REINFORCE (Monte Carlo Policy Gradient 알고리즘) 이해

실습 - REINFORCE 구현

감사합니다.