인프런 커뮤니티 질문&답변
작성한 질문수
DQN 학습 및 저장 모델 불러오기 속도 문의
작성
·
335
1
안녕하세요, 책을 먼저 사고, RL 커뮤니티 페이스북 페이지에서 인프런 강의 있다는 말 듣고 바로 사서 듣고 있는 중입니다. 강화학습 입문자에겐 빛과같은 존재이십니다. 감사합니다.
GridWorld 환경 만들고, DQN으로 학습을 시킨뒤
저장된 모델 불러와서 학습된 결과를 볼 때 애들이 너무 빨리 움직입니다. 학습할때는 time_scale이 12이고 test_step으로 들어가면 time_scale이 1이 되어야 하는데, 반대인 느낌이 듭니다. 코드는 깃허브에서 다운 받은거에서 load_model 부분만 False에서 True로 바꾸고 train_model를 False로 바꿨습니다.
처음 학습할때도 처음 50000번 step을 돌고 나서 test 에 들어갈때 갑자기 확 빨라지는 걸 느꼈는데요, 이게 원래 그런건가 싶어서요, 어떻게 손을 봐야 할지 문의드립니다.
답변 1
0
안녕하세요!
수강해주셔서 감사합니다!
설명해주신 내용으로는 정확한 원인을 파악하기는 어려울 것 같은데요, 혹시 train/test 영상 캡쳐가 가능하다면 도움이 될 것 같습니다!
말씀해주신 내용을 토대로 의심이 가는 부분이 있다면, DQN 알고리즘은 학습을 진행할 때 train_start_step이 지나고 난 후 부터 매 스텝마다 train_model 함수를 통해 네트워크 최적화를 진행하는데요. 이때 이미지 데이터를 통해 학습을 진행하기 때문에 만약 GPU가 없는 머신이라면 test 보다 느려질 수 있을 것 같습니다. 그게 아니라면 학습을 진행할 때 프레임이 끊겨서 보이는데요, 이에 따라 느리게 보일 수 있을 것 같습니다.
감사합니다 (_ _)
안녕하세요! 만약 test 모드시 너무 움직임이 빠른 경우 테스트 모드에는 매 스텝마다 sleep 코드를 통해서 시간을 조금 지연시키는 방법을 사용하시면 눈으로 확인 가능할 만큼 천천히 실행하실 수 있습니다!
혹시 괜찮으시다면 메일 주소 알려주시면 동영상 찍은걸 보내드려서 보여드리고 싶습니다.
현재 문제는 test mode에서 너무 빨리 움직여서 문제입니다. ㅜㅜ