작성
·
194
답변 1
0
안녕하세요.
정말 좋은 질문입니다!
max라고 하면 평가 정확도나 평가 RMSE를 말씀하시는거죠?
동일한 학습 조건에서 동일 모델의 경우에는 여러 번 학습을 해도 유사한 성능이 나와야 합니다.
모델은 가장 정확도가 높게 나온 것을 사용하되 결과를 말할 때에는 30번에 대한 평균+-신뢰구간95%(혹은 표준편차)를 보여줍니다. (하지만 문제에 따라 베스트 모델을 정할 때에 recall, precision 등 다른 척도도 같이 고려해야 할 때도 있습니다..)
또한 논문에 따라 학습 횟수가 1번~100번으로 매우 다릅니다만 신뢰구간을 결과로 사용할 경우 5회 이상 하시면 됩니다. 개인적으로는 신뢰구간 결과를 사용할 경우 문제에 따라 10~100회 정도 합니다. 30번 학습이면 충분한 통계결과는 되겠네요!
만약 각 30번에 대한 결과치 차이가 크면 재구현 문제가 될 수도 있습니다. 즉, 사람마다 제안 모델을 구현했더니 성능 차이가 심하면 안 된다는 의미입니다. 강의에서는 학습 시간이 오래 걸리기 때문에 epoch을 길게 가져가진 않았는데 실제 작업에서는 epoch을 충분히 설정하여 어느 정도 학습 수렴성을 확보하셔야 합니다 :)
열공하세요!
자세한 답변 감사드립니다.
단순히 max를 쓰면 되겠다는 생각 뒤에 따라온 생각은
혹시 오버피팅 모델을 사용하는게 아닌가 하여
(물론 각 수행별로 valid data 활용한 earlystop을 수행한 결과이긴 하지만요)
걱정이 되어서 질문을 드리게 된거였어요^^