R로 쉽게 배우는 강화학습

🙆🏻‍♀ Q-learning과 Deep Q-learning을 넘어서 RND까지🙆🏻‍♂

🗒 강의소개

알파고로 시작된 강화학습의 붐, 강화학습은 알파고가 나오기 오래전부터 존재했던 알고리즘이라는 사실 알고 계셨나요?

강화학습은 일반적으로 공부를 하기에 진입장벽이 높은 분야로 알려져 있습니다. 알파고가 나오면서부터 많은 사람들이 관심을 가지기 시작했지만, 내용이 쉽지 않아 공부하기가 어렵습니다. 강화학습을 공부하고 싶었지만 어려워서 시작도 못하신 분을 위해 중요한 부분만 골라 요약해서 알려드립니다. Q-learning부터 DQN 그리고 DQN을 넘어서 강화학습의 주된 문제인 sparse reward problem과 이를 해결 하기 위한 여러 아이디어들을 소개합니다. 짧은 시간안에 강화학습을 전체적으로 공부할 수 있는 좋은 강의가 될 것 입니다. 

🌈 강화학습이 대체 무엇인지.

강화학습이 대체 무엇인지, 강화학습엔 어떠한 요소가 있고 어떻게 학습이 진행이 되는지 예를들어 차근차근 설명합니다.

🌈 손으로 직접 풀어보는 Q-learning

말로만 설명해서는 이해가 잘 되지 않아요. 손으로 직접 Q-learing을 풀어보면서 강화학습에 대한 개념을 제대로 이해해 봅시다.

🌈 Deep Reinforcemen learning의 기본이 되는 DQN

Deep reinforcement learning의 기본이는 Deep Q-network (DQN)부터 PerDQN을 포함한 여러 DQN변형들, actorcritic, Self-Imitation learing 까지 중요한 내용을 핵심적으로 요약합니다.

🌈 강화학습의 주된 문제인 Sparse reward problem

강화 학습의 주된 문제인 sparse reward problem에 대해서 이야기 하고 이를 해결하기 위한 여러 기법들에 대해 이야기합니다.

우리는 주로 'curiosity' 또는 'prediction error'에 대해서 이야기 하고 이들을 활용한 여러 알고리즘에 대해 소개합니다.

(SIL,  Random Network Distillation 등)

🌈 R로 직접 구현해보는 DQN/ActorCritic/SIL/RND

직접 코드로 구현해보지 않으면 절반만 알고 있는 거겠죠 ? 가장 중요한 모델들에 대해 R로 직접 강화학습 알고리즘을 짜보고 결과를 같이 확인해 봅니다.

그리고 Exploration 을 위한 RND가 정말 효과가 있는지도 함께 확인해 보시죠.

🙋🏻‍♂️ 강의 관련 예상 질문

Q. 선수 지식이 있나요?
A. 머신러닝, NN에 대한 기본적인 개념이 있으신게 좋습니다.

Q. Python으로 실습을 하지는 않나요?
A. 현재는 R로 실습 코드를 구현해서 강의를 업로드 했고, 추후에 python으로 실습하는 코드를 업로드 할 예정입니다.(타 강의로 여는게 아니라 본 강의에 추가적으로 업로드할 예정입니다)