tf.keras.model.reset_states()
RNN class의 hidden layer만 reset하면 되는 것 같아 model.hidden_Layer_1.reset_states() 로 초기화해주었습니다. 이렇게 하니 잘 돌아가는 것 같습니다. (아직 돌리는 중입니다.) tensorflow버전 업데이트 되면서 tf.keras.layers.Embedding가 batch_input_shape를 인수로 받지 않아도 자동으로 해석해주는 것 같은데 확실하지 않습니다. 아래 선생님들께서 답변 달아주실 것 같습니다.