인프런 커뮤니티 질문&답변
작성한 질문수
Encoder Decoder 부터 Simple Chatbot까지 이상답변
작성
·
103
0
안녕하세요 강사님! Encoder Decoder와 Simple Chatbot 노트북 실행시 아래 스크린샷처럼 이상한 문장들만 출력되던데, 해결책이 있을까요?
답변 1
1
YoungJea Oh
지식공유자
코드 개선을 위해서 다음 두가지를 수정 했습니다.
1) optimizer 를 rmsprop 에서 adam 으로 변경하고 learning rate 를 0.001 로 설정 했습니다.
model_teacher_forcing.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.001), loss='sparse_categorical_crossentropy', metrics=['accuracy'])
2) epoch 을 300 으로 증가하여 학습 시간을 늘렸습니다.
3) decode_sequence 함수에서 다음을 수정하여 확률 분포를 정규화 했습니다.
# 온도 조절 적용
output_probs = np.log(output_probs + 1e-10) / temperature
output_probs = np.exp(output_probs) / np.sum(np.exp(output_probs))
수정 결과 입니다.
수정한 내용을 github 의 source code 에 반영했으니 참고하시기 바랍니다.
좋은 질문 감사합니다.
돌려보니 잘 작동하네요!! 감사합니다.