이미지가 출력되지 않습니다

230_Mnist_LeNet 말씀이신가요? 제가 local 과 Colab 에서 실행하니 모두 잘 되는데 작성하신 코드를 올려 주시면 검토해 보겠습니다. local 에서는 환경이 달라서 저와 다른 결과가 나올 수 있지만 Colab 에서는 동일한 환경이므로 저와 같은 결과가 나와야 하는데 이상하네요. 코딩하신 ipynb 파일을 trimurtI@naver.com 으로 보내주세요.

강사님 안녕하세요! daily return 연 평균과 관련하여 질문 드립니다!

맞습니다. 결과에 큰 차이가 없다면 실무적으로는 단순 평균 수익률을 일반적으로 사용합니다.두 방법이 비슷한 결과를 내는 이유는 일일 수익률이 비교적 작으므로, 단순 평균 수익률 방식이 복리 개념을 생략하더라도 큰 차이가 나지 않기 때문입니다. 결론적으로:- 단순 평균을 사용한 방식은 간편하고 직관적인 방법으로, 수익률 차이가 크지 않은 경우 적절한 근사치를 제공합니다.- 복리 개념을 사용한 방식은 보다 정확한 연간 수익률을 계산할 수 있으며, 특히 수익률 변동성이 클 때 중요한 역할을 합니다.우리처럼 데이터 분석을 할 때는 첫번째 방법을 사용하는 것이 실무적인 편의성이 있지만 고객에게 이자 지급을 하는 등 공식적, 법률적 문제까지 엄격히 고려한다면 두번째 방법을 사용해야 합니다.좋은 질문 감사합니다.

코랩 환경 설정할 때 질문이 있습니다.

현재 사용하고 계시는 방법이 가장 많이 사용되고 있는 방법입니다. 저 역시 동일한 방식을 사용하고 있습니다. 감사합니다.

강사님 좋은 강의 너무 잘 듣고있습니다.

강화학습을 이용한 주식 자동 매매 trader agent 를 만드는 것은 다음과 같은 이유로 매우 어렵습니다.강화학습(RL)을 이용해 주식 매매 트레이더 에이전트를 개발하는 데 어려움이 따르는 이유는 다음과 같습니다:첫째. 주식 시장은 복잡하고 예측이 어려운 환경입니다. 다양한 외부 요인(경제 지표, 정치적 이벤트, 기업 실적, 투자 심리 등)에 의해 가격이 변동되기 때문에, 이를 강화학습의 환경으로 설정하는 것이 매우 어렵습니다. 강화학습은 비교적 안정적인 환경에서 잘 작동하지만, 주식 시장은 급격한 변화와 비선형적 관계를 보이는 경우가 많습니다.둘째. 강화학습에서 에이전트는 주어진 보상 함수를 최대화하려고 합니다. 하지만 주식 매매에서 수익뿐 아니라 리스크, 거래 비용, 거래 빈도 등 다양한 요소를 고려해야 하기 때문에 적절한 보상 함수를 설계하는 것이 매우 어렵습니다. 잘못된 보상 함수는 에이전트가 과도한 리스크를 감수하거나 비합리적인 매매 전략을 따르도록 유도할 수 있습니다.세째. 강화학습은 대규모의 데이터를 필요로 하고, 수천 번의 시도를 통해 학습합니다. 하지만 주식 시장 과거 데이터를 기반으로 학습한 에이전트는 미래의 시장에서 유효하지 않을 가능성이 큽니다. 또한 시장 상황은 시간이 지남에 따라 변하므로 과거 데이터로 학습한 모델이 미래 시장에서 잘 작동하지 않을 수도 있습니다.이러한 이유로 강화학습을 이용한 주식 매매 에이전트를 개발하는 것은 대규모 자원과 실시간 데이터를 소유한 월가의 투자 은행에서도 성공 사례가 공식 발표되지 않고 있습니다. 다만 막연히 그렇게 똑똑한 사람들이 모여 있는데 AI 를 이용한 거래를 하고 있을 것이라고 추측만 되고 있습니다. 저도 시중에 나와있는 "파이썬과 케라스를 이용한 딥러닝/강화학습 주식투자" -(김문권 지음, 위키북스) 를 구매해서 읽어 보았지만 실제 매매 가능한 트레이더를 개발할 수는 없는 낚시 수준의 제목과 동기 부여 정도의 책이라고 생각되는 수준이고 그것이 정상적입니다.제가 강의 내용 중에 포함시킨 LSTM을 활용한 주식 가격 예측 역시 일정한 trend 가 있는 구간 (Regime 이라고 합니다) 에서 유요한 것이고 regime 이 바뀌는 경우 작동하지 않는 한계가 있음을 이해하시고 학습을 위한 내용으로 이해하시기 바랍니다.제 경험을 말씀 드리면 강화학습과 LSTM 을 이용한 주식 예측 모두 실제 시도해 보았고 만들어 보았지만 남는 결론은 실제 투자에 적용은 무리하는 것과 AI 에 대한 실력이 향상되었다는 것 입니다. 감사합니다.

강의 36강에서의 질문

정책 평가에서 THETA는 모든 상태에서의 가치 함수가 충분히 수렴했는지를 결정하는 종료 조건입니다. 즉, 모든 상태에서의 가치 변화량 중 가장 큰 값이 THETA보다 작아질 때 평가가 종료된다는 의미입니다.for s in range(num_states): ............................... delta = max(delta, np.abs(old_value - V[s])) 위에서 delta는 모든 state 를 loop 돌았을 때 이전 state value 와 새로운 state value 간의 가장 큰 차이를 저장한 변수이므로 단 하나의 상태에서만 변화량이 THETA보다 작아진다고 종료되는 것이 아니라, 모든 상태의 변화량이 THETA보다 작아져야 평가가 종료된다는 의미입니다. 이는 가치 함수가 충분히 수렴했음을 보장하는 방법입니다.좋은 질문 감사합니다.