VAE 모델 loss 계산하는 부분 오류

지금 질문이 255_fraud_detection_with_variational_autoencoder_keras.ipynb 에서 발생한 에러인가요? 요즘 구글의 문제는 과거와 달리 기존의 코드와의 호환성을 고려하지 않고 버전 업그레이드를 하고 있다는 것인데 여기 저기서 유사한 문제가 발견되고 있습니다. 문제 해결 방법은,!pip install tensorflow==2.15.0 로 tensorflow 버전을 다운그레이드 해주면 간단히 해결됩니다.제가 지난 달 쯤 github 에 올려 놓은 교재 program source 에 반영해 놓았고 방금도 Colab 에서 잘 실행 되는 것을 다시 확인 하였습니다. VAE 까지 오신 것을 보니 진도를 거의 나가신 것 같네요 ^^문제 해결 안되거나 다른 문제 발생하면 알려주세요. 감사합니다.

이미지가 출력되지 않습니다

230_Mnist_LeNet 말씀이신가요? 제가 local 과 Colab 에서 실행하니 모두 잘 되는데 작성하신 코드를 올려 주시면 검토해 보겠습니다. local 에서는 환경이 달라서 저와 다른 결과가 나올 수 있지만 Colab 에서는 동일한 환경이므로 저와 같은 결과가 나와야 하는데 이상하네요. 코딩하신 ipynb 파일을 trimurtI@naver.com 으로 보내주세요.

강사님 안녕하세요! daily return 연 평균과 관련하여 질문 드립니다!

맞습니다. 결과에 큰 차이가 없다면 실무적으로는 단순 평균 수익률을 일반적으로 사용합니다.두 방법이 비슷한 결과를 내는 이유는 일일 수익률이 비교적 작으므로, 단순 평균 수익률 방식이 복리 개념을 생략하더라도 큰 차이가 나지 않기 때문입니다. 결론적으로:- 단순 평균을 사용한 방식은 간편하고 직관적인 방법으로, 수익률 차이가 크지 않은 경우 적절한 근사치를 제공합니다.- 복리 개념을 사용한 방식은 보다 정확한 연간 수익률을 계산할 수 있으며, 특히 수익률 변동성이 클 때 중요한 역할을 합니다.우리처럼 데이터 분석을 할 때는 첫번째 방법을 사용하는 것이 실무적인 편의성이 있지만 고객에게 이자 지급을 하는 등 공식적, 법률적 문제까지 엄격히 고려한다면 두번째 방법을 사용해야 합니다.좋은 질문 감사합니다.

코랩 환경 설정할 때 질문이 있습니다.

현재 사용하고 계시는 방법이 가장 많이 사용되고 있는 방법입니다. 저 역시 동일한 방식을 사용하고 있습니다. 감사합니다.

강사님 좋은 강의 너무 잘 듣고있습니다.

강화학습을 이용한 주식 자동 매매 trader agent 를 만드는 것은 다음과 같은 이유로 매우 어렵습니다.강화학습(RL)을 이용해 주식 매매 트레이더 에이전트를 개발하는 데 어려움이 따르는 이유는 다음과 같습니다:첫째. 주식 시장은 복잡하고 예측이 어려운 환경입니다. 다양한 외부 요인(경제 지표, 정치적 이벤트, 기업 실적, 투자 심리 등)에 의해 가격이 변동되기 때문에, 이를 강화학습의 환경으로 설정하는 것이 매우 어렵습니다. 강화학습은 비교적 안정적인 환경에서 잘 작동하지만, 주식 시장은 급격한 변화와 비선형적 관계를 보이는 경우가 많습니다.둘째. 강화학습에서 에이전트는 주어진 보상 함수를 최대화하려고 합니다. 하지만 주식 매매에서 수익뿐 아니라 리스크, 거래 비용, 거래 빈도 등 다양한 요소를 고려해야 하기 때문에 적절한 보상 함수를 설계하는 것이 매우 어렵습니다. 잘못된 보상 함수는 에이전트가 과도한 리스크를 감수하거나 비합리적인 매매 전략을 따르도록 유도할 수 있습니다.세째. 강화학습은 대규모의 데이터를 필요로 하고, 수천 번의 시도를 통해 학습합니다. 하지만 주식 시장 과거 데이터를 기반으로 학습한 에이전트는 미래의 시장에서 유효하지 않을 가능성이 큽니다. 또한 시장 상황은 시간이 지남에 따라 변하므로 과거 데이터로 학습한 모델이 미래 시장에서 잘 작동하지 않을 수도 있습니다.이러한 이유로 강화학습을 이용한 주식 매매 에이전트를 개발하는 것은 대규모 자원과 실시간 데이터를 소유한 월가의 투자 은행에서도 성공 사례가 공식 발표되지 않고 있습니다. 다만 막연히 그렇게 똑똑한 사람들이 모여 있는데 AI 를 이용한 거래를 하고 있을 것이라고 추측만 되고 있습니다. 저도 시중에 나와있는 "파이썬과 케라스를 이용한 딥러닝/강화학습 주식투자" -(김문권 지음, 위키북스) 를 구매해서 읽어 보았지만 실제 매매 가능한 트레이더를 개발할 수는 없는 낚시 수준의 제목과 동기 부여 정도의 책이라고 생각되는 수준이고 그것이 정상적입니다.제가 강의 내용 중에 포함시킨 LSTM을 활용한 주식 가격 예측 역시 일정한 trend 가 있는 구간 (Regime 이라고 합니다) 에서 유요한 것이고 regime 이 바뀌는 경우 작동하지 않는 한계가 있음을 이해하시고 학습을 위한 내용으로 이해하시기 바랍니다.제 경험을 말씀 드리면 강화학습과 LSTM 을 이용한 주식 예측 모두 실제 시도해 보았고 만들어 보았지만 남는 결론은 실제 투자에 적용은 무리하는 것과 AI 에 대한 실력이 향상되었다는 것 입니다. 감사합니다.

강의 36강에서의 질문

정책 평가에서 THETA는 모든 상태에서의 가치 함수가 충분히 수렴했는지를 결정하는 종료 조건입니다. 즉, 모든 상태에서의 가치 변화량 중 가장 큰 값이 THETA보다 작아질 때 평가가 종료된다는 의미입니다.for s in range(num_states): ............................... delta = max(delta, np.abs(old_value - V[s])) 위에서 delta는 모든 state 를 loop 돌았을 때 이전 state value 와 새로운 state value 간의 가장 큰 차이를 저장한 변수이므로 단 하나의 상태에서만 변화량이 THETA보다 작아진다고 종료되는 것이 아니라, 모든 상태의 변화량이 THETA보다 작아져야 평가가 종료된다는 의미입니다. 이는 가치 함수가 충분히 수렴했음을 보장하는 방법입니다.좋은 질문 감사합니다.

transformer 훈련 마친 모델 공유 가능할까요?

Original Transformer Tutorial (https://www.tensorflow.org/text/tutorials/transformer#export_the_model)을 그대로 Colab 에서 실행 시켜도 동일한 현상이 발생하는 것을 확인하였습니다. 최근 Google 이 OpenAI에 밀리면서 과거와 달리 Tensorflow 최신 버전을 불완전한 상태로 release 하고 있는 것 같습니다. 다음과 같이 tensorflow 를 현재의 2.17.0 에서 이전의 안정된 2.15.0 version 으로 downgrade 하여 문제를 해결하였습니다. github source 도 update 해 놓았습니다. # 현재의 tensorflow version 삭제 !pip uninstall --y tensorflow# tensorflow version downgrade!pip install tensorflow==2.15.0# downgrade 되었는지 확인import tensorflow as tfprint(tf.__version__) # Downgrade된 TensorFlow의 버전에 맞는 package 설치!apt install --allow-change-held-packages libcudnn8=8.1.0.77-1+cuda11.2# Install the compatible cuDNN version for CUDA 11.8!apt install --allow-change-held-packages libcudnn8=8.1.0.77-1+cuda11.2# Uninstall existing TensorFlow and related packages!pip uninstall -y -q tensorflow keras tensorflow-estimator tensorflow-text# Install the required protobuf version!pip install protobuf~=3.20.3# Install TensorFlow Datasets!pip install -q tensorflow_datasets# Install TensorFlow 2.15.0 and TensorFlow Text 2.15.0!pip install -q -U tensorflow-text==2.15.0 이렇게 하시면 T4 GPU 기준 Colab 으로 1시간 이내에 training 작업 끝낼 수 있습니다. 다른 문제 발생하면 알려주세요. 감사합니다.

Pytorch 설치 GPU 버전으로 다운해도 되나요?

GPU 가 있으시면 GPU version 으로 설치해도 문제 없습니다. 감사합니다.

강의자료는 어디서 다운받을 수 있나요?

(사진)강의자료(강의 교재 pdf file, 소스 코드 github) 에 들어가세요.(사진)오른쪽 상단의 구름 모양의 수업자료 다운로드 icon 을 click 하시면 pdf 강의 파일이 다운로드 되고 실습 프로그램 소스는 github link 누르고 다운로드 하시면 됩니다.감사합니다.

130_Transformer.ipynb transformer.summary() 에러

이 교재의 원본은 Google 의 Transformer Tutorial 이며 https://www.tensorflow.org/text/tutorials/transformer 이 곳에서 원본을 찾아볼 수 있습니다. 제가 원본을 직접 Colab 에서 실행해 본 결과 동일한 error 가 발생함을 확인할 수 있었습니다. 최근 tensorflow 2.17 version upgrade 가 되면서 과거에 잘 작동했던 Google 자체의 Tutorial 에서 다양한 에러가 발생하고 있으며 시간이 지나면 저절로 해결되는 경우를 보고 있습니다. 아마도 Google 교육팀에서 bug 해결하고 있는 것으로 추정됩니다. 제가 code 실행해 본 결과 transformer.summary() 부분에서 error 가 나도 그 다음 cell 부터는 정상 수행되는 것을 발견했습니다. 따라서 문제 해결시 까지 summary() 부분을 skip 하고 코드 실행 하시기 바랍니다. 저도 당분간 transformer.summary() 부분을 comment 로 묶어 놓겠습니다. 감사합니다.