강화학습 입문에서 Deep Q-learning/Policy Gradient까지

3. 강의 자료 (강의 교재, 소스 코드)

4. Anaconda 설치

6. VSCODE 설치

7. Jupyter Notebook 과 Google Colab 사용법(OPTIONAL)

9. 강화 학습의 역사 - part 2

10. 강화 학습의 역사 - part 3

12. 강화 학습의 구성 요소 - Policy (정책)

13. 강화 학습의 구성 요소 - Value Function (가치 함수)

14. 강화 학습의 구성 요소 - 환경과 모델 (Environment & Model)

15. 강화 학습 Task의 종류

16. 강화 학습 문제 해결 접근 방식과 Gymnasium 소개 및 설치

17. 실습 - Cartpole 환경 이해 및 시각화

18. 마르코프 특성 과 유한 MDP (Finite MDP)

19. MDP의 Dynamics (동역학)

21. 결정론적 vs. 확률론적 환경(Deterministic vs. Stochastic Environment)

22. 실습 - Frozen Lake - Policy 함수를 이용한 길 찾기

23. 가치 함수 (Value Function)와 Reward (보상)

24. 보상 (Reward)과 이득 (Return) 계산

25. 할인 (Discounting) 과 가치 함수 (Value Function)

26. 상태 가치 함수 (State Value Function) 와 행동 가치 함수 (Action Value Function)

27. 가치 함수 적용 사례

28. 벨만 방정식 (Bellman Equation)

29. 최적 정책 (Optimal Policy)

30. 최적 정책 예제 (Simple Grid World)

31. 복잡한 예제와 최적 정책 결정 방법

32. 최적 정책을 구하는 3가지 방법과 강화 학습 알고리즘 종류

33. 반복 정책 평가 (Iterative Policy Evalution)

34. 반복 정책 평가 (Iterative Policy Evalution) 작동 원리 이해

36. 실습 - 얼어붙은 호수(Frozen Lake) - 반복 정책 평가 알고리즘 구현

37. 정책 반복 (Policy Iteration)

38. 실습 - 얼어붙은 호수(Frozen Lake) - 정책 반복 알고리즘 구현

39. GPI(Generalized Policy Iteration)와 가치 반복 (Value Iteration)

41. 동적 계획법 (Dynamic Programming) 요약

42. 모델 프리 방법(Model-Free Methods)

43. 몬테카를로 방법 (Monte-Carlo Method)과 최초 접촉 (First Visit) 정책 평가 알고리즘

44. 블랙잭 게임(Blackjack Game) 설명

45. 블랙잭 게임(Blackjack Game)문제 정의

47. 최초 접촉 (First Visit) MC 방법의 블랙잭 게임 구현 문제 설명

48. 실습 - 최초 접촉 (First Visit) MC 방법의 블랙잭 게임 구현에 필요한 사전 파이썬 지식

49. 실습 - 최초 접촉 (First Visit) MC 방법의 블랙잭 게임 구현 part 1

50. 실습 - 최초 접촉 (First Visit) MC 방법의 블랙잭 게임 구현 part 2

51. MC 방법의 장점 및 GPI (Generalized Policy Interation)

52. 탐색과 활용 (Exploration vs. Exploitation) 이해 및 e-soft 정책 알고리즘 설명

53. 실습 - 최초 접촉 (First Visit) MC control (e-soft) 블랙잭 게임 문제 설명 및 구현 part 1

54. 실습 - 최초 접촉 (First Visit) MC control (e-soft) 블랙잭 게임 구현 part 2

55. 시간차 학습 (TD Learning) 이론

57. On-Policy 와 Off-Policy 학습 차이점

58. Q-learning 알고리즘

59. Frozen Lake 환경을 이용한 Q-learning 이해

60. 실습 - Frozen Lake 환경을 이용한 Q-learning 구현

61. 실습 - Taxi 환경 설명 및 Q-learning 구현

62. 실습 - 절벽 걷기 (Cliff Walking) 환경에서 Q-learning 과 Sarsa 알고리즘 비교

63. 함수 근사 (Function Approximation)

64. 함수 근사의 Observation Space 정의 - state 표현 방법

65. Deep Q-learning 이해

66. Q-learning 과 Deep Q-learning 비교

67. Experience Replay (Replay Memory)

68. Deep Q-learning 알고리즘 (2013, DeepMind)

69. Pytorch Basic(OPTIONAL) - part 1

70. Pytorch Basic(OPTIONAL) - part 2

71. 실습 - Pytorch Basic(OPTIONAL) - part 1

72. 실습 - Pytorch Basic(OPTIONAL) - part 2

73. Deep Q-learning 구현 설명

74. DNQ 알고리즘 (2015, DeepMind) 설명 및 구현 환경 설명

75. 실습 - Mountain Car DQN 알고리즘 구현 - part1

76. 실습 - Mountain Car DQN 알고리즘 구현 - part2

77. 정책 경사(Policy Gradient) 개요

78. 함수 근사(Function Approximation)를 이용한 정책 학습

79. 정책 근사(Policy Approximation) 정의와 장단점

80. 정책 경사에 잘 맞는 문제

81. 정책 최적화(Policy Optimization)의 목적 함수

82. 정책 경사도 공식 이해

83. 스코어 함수와 Policy Parameter Update 공식

84. Policy Gradient 와 Deep Q-learning 비교

85. REINFORCE (Monte Carlo Policy Gradient 알고리즘) 이해

86. 실습 - REINFORCE 구현

87. 감사합니다.