인프런 커뮤니티 질문&답변

선생님

#3. 정책 개선
#policy_stable <- true
policy_stable = True
old_pi = pi
#각 s에 대해:
for s in range(num_states):
    # pi_s <- argmax_a(sum(p(s',r|s,a)*[r + gamma*V(s')]))
    new_action_values = np.zeros(num_actions)
    for a in range(num_actions):
        for prob, s_, r, _ in transitions[s][a]:
            new_action_values[a] += prob * (r + GAMMA * V[s_])

    new_action = np.argmax(new_action_values)
    pi[s] = np.eye(num_actions)[new_action]

if old_pi.all() != pi.all():
    policy_stable = False

여기 최적 정책을 업데이트 하는 과정을 디버깅 하는 과정에서

old.pi = pi 에서 메모리를 공유 해서

pi[s]를 업데이트를 같이 해서 무조건 아래서

if old_pi.all() != pi.all():

구문은 True가 나오게 되어 있는데

의도한 바는

old_pi = copy.deepcopy(pi)

로 코드를 바꾸는게 맞나요?