DQN 실행 오류

안녕하세요! 학습에 들어가면서 에러가 발생하는 듯 합니다! 오류 내용을 보니 이미지 입력과 네트워크에서 해당 이미지 입력을 처리하는 차원이 달라 발생하는 문제인 듯 합니다! 유니티 환경에서 이미지 입력의 설정과 파이썬 코드상에서 state_size를 어떻게 설정하셨는지 확인해보시면 좋을 것 같습니다! 입력으로 사용되는 이미지 정보를 출력해보셔도 좋을 것 같습니다!

ML-Agents 살펴보기 11페이지 질문입니다.

안녕하세요! 저도 맥 버전으로 열어봤는데 기존과 같이 default, GPU, Burst, CPU로 나오는 것으로 확인했습니다. 검색해보니 최신 버전인 ML-Agents 3.0.0의 경우 Inference Device가 말씀주신 이름들로 설정이 되어있는 듯 합니다. 이에 따라 버전 변화에 따라 이름이 바뀐 것 같습니다! 검색해본 내용으로는 각 설정에 대한 설명이 아래와 같습니다! 참고 부탁드립니다! (사진)

배웠던 내용을 기반으로 match3 인공지능으로 플레이 하는 걸 만들고 있는데.. 질문이 있습니다.

안녕하세요! 저도 match3는 직접 진행해본적이 없어서 질문주신 부분 중 몇 부분은 더 깊게 살펴봐야 할 것 같구요! 일단 대답할 수 있는 것 먼저 답변드리겠습니다!일단 쓱 봤을때는 상태, 보상 설정은 괜찮게 하신 것 같은데 행동에 대한 부분은 제가 조금 더 이해해 봐야할 것 같습니다. 그리고 기타질문들 답변드려보겠습니다. 어느 스텝만큼 기다려야하는가는 환경의 난이도 등에 따라 차이가 있습니다. 예전에 알파고 학습할 때는 몇일을 기다려야 좀 학습에 대한 기미가 보이는 경우도 있었구요! match3 환경의 경우는 보상을 즉각적으로 받을 수 있는 환경이다 보니 학습 초반부터 학습에 대한 각이 보일 것 같긴합니다. 상속받아서 사용하는건 뭔가 match3의 경우 다른 설정이 필요하기 때문일 것 같은데요! 퍼즐 환경이다보니 설정 등에 차이가 있어 변경한 것 같습니다. 자세한건 저도 살펴봐야할 것 같네요PPO의 경우 파라미터 설정에 따라 설정의 차이를 보이긴합니다. 저희가 학습하면서 차이를 좀 보였던 파라미터는 n_step인데요. 그래도 match3 환경의 경우 보상을 얻기까지의 길이가 길지 않아서 이 값이 큰 영향을 미치지는 않을 것 같다고 생각됩니다. learning_rate_schedule이 constant인 경우 학습이 진행되어도 학습률이 유지되고 해당 값이 linear인 경우 감소합니다. 일반적으로는 학습이 진행됨에 따라 학습률을 조금씩 감소시키는 linear를 주로 사용합니다. 유니티가 제공하지 않는 PPO를 쓰는 경우의 장점은 자유도가 높다는 것입니다. mlagents-learn을 쓰는 경우 일부 파라미터만 변경할 수 있지만 직접 PPO를 구현하는 경우 코드를 마음대로 수정하고 필요시 새로운 모듈을 추가하는 것도 가능합니다. 말씀해주신대로면 행동 공간이 너무 크기도 하고 고정적이지도 않아서 학습이 어려울 것 같습니다. 환경에 대한 설정을 (저도 방법은 딱 떠오르지는 않는데) 최대한 간단하고 고정적인 행동 공간의 환경으로 설정해주시면 좋을 것 같습니다!

배웠던 내용을 기반으로 match3 인공지능으로 플레이 하는 걸 만들고 있는데.. 질문이 있습니다.

안녕하세요! 아마 질문 내용이 작성되다가 누락된듯 합니다! 확인 부탁드립니다!

3DBall 학습 중 문제

아하 요건 빌드한 환경의 경로가 잘못되어 발생하는 에러입니다! --env 뒤에 설정한 경로가 빌드한 경로가 잘 맞게 되었는지 확인 부탁드립니다!

mlagents-learn --hlep

안녕하세요! 'np.float was a deprecated ~~"의 경우 제가 기억하기로는 numpy의 버전 때문에 발생하는 문제로 기억하고 있습니다!아래 내용 한번 참고해보셔도 좋을 것 같습니다! https://velog.io/@kksj0216/AttributeError-module-numpy-has-no-attribute-float

DQN 환경 학습

음...사실 mlagents 버전 상관없이 agentRenderTexture 사이즈는 84x64면 visual obs도 (1,3,64,84) 이런식으로 나와야할텐데요.. 많이 이상하네요 ㅜㅜㅜ 유니티 버전도 6버전을 써본 적은 없지만 사실 유니티 버전은 별로 상관없을 것으로 생각되구요.. 혹시 그럼 해당 agentRenderTexture 크기를 변경하면 파이썬에 전달되는 visual obs 크기도 변할까요?

DQN 환경 학습

안녕하세요!말씀주신 내용에 따르면 카메라의 입력의 크기에 문제가 있는 듯 합니다. 혹시 obs의 shape가 어떻게 되는지 체크해보실 수 있으실까요?? 해당 shape이 잘못된 경우 유니티 환경의 visual observation, 즉 시각적 관측을 전달하는 설정에 문제가 있는 듯 합니다.

DQN 함수를 어디에다 만들고 실행하나요??>?>

DQN 코드는 원하시는 곳 아무데나 작성해서 저장하면 됩니다! 파이썬 코드에서 환경의 경로만 빌드한 경로로 설정하고 실행하시면 됩니다. 파이썬 코드를 실행하는 것은 일반적인 파이썬 코드 실행과 동일하게 터미널에서 실행하시거나 코드 편집기 내에서 실행하셔도 됩니다!

갑자기 Template>Scripts 폴더는 어디에서 만들어졌는지...

실습 파일은 아래 깃허브의 unity_project의 Drone 폴더 내용 참고 부탁드립니다!https://github.com/reinforcement-learning-kr/Unity_ML_Agents_2.0