학습시 epoch 횟수

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

Llama 2 Fine-Tuning 예제 1 - KorQuad 데이터셋에 Fine-Tuning된 Llama 2 예측(Inference) 및 ChatGPT(GPT-4)와 성능 비교

작성

1.4K

모델 트레이닝 할때 epoch 을 최소 몇 정도로 넣어주고 학습을 시켜야 괜찮은 모델이 나오나요?

추가로 loss 는 최소 어느정도 까지 떨어져야 괜찮을 모델이 나올까요?

물론 모델마다 차이가 있겠지만 일반적인 지표가 어느정도 되는지 궁금합니다.

딥러닝 pytorch chatgpt llm llama

답변 2

AISchool

지식공유자

안녕하세요.

모델 training 시에 적절한 epoch 횟수는 상황마다 다릅니다.

일반적으로 트레이닝 데이터 양이 충분한 경우, 적은 epoch 횟수로도 충분하지만 트레이닝 데이터양을 충분하지 않을 경우 많은 epoch 횟수로 학습하는 것이 좋습니다.

또한 벤치마크 데이터셋에 대해서 정량적으로 모델의 성능을 평가하거나 검증용 데이터를 따로 빼놓고 학습 중간중간 검증용 데이터에 대한 예측을 수행한뒤 결과를 분석해서 정성적으로 모델의 성능을 평가할 수 있습니다.

좋은 하루되세요.

감사합니다.

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다.

sdt님, 모델을 훈련시킬 때 적절한 epoch 수는 여러 요소에 따라 달라집니다. 일반적으로, 해당 모델의 성능이 계속해서 개선되고 있는지, 과적합이 발생하지 않는지 등을 고려하여 결정됩니다. 초기 실험 단계에서는 보통 몇 번의 epoch으로 충분한 성능 개선이 이루어지지 않는지를 확인하고, 필요에 따라 epoch 수를 조절합니다.

Loss의 경우에도 마찬가지로 모델과 데이터에 따라 다르며, 일반적인 기준을 제공하기 어렵습니다. Loss가 감소하는 추세를 보고 계속하여 학습을 진행할지, 아니면 어느 지점에서 학습을 중단할지를 결정합니다. 모델이 잘 학습되었는지를 평가하는 더 나은 방법은 검증 데이터셋(validation set)에 대한 성능을 확인하는 것입니다.

좋은 모델을 얻기 위해서는 여러 번의 훈련과 검증을 반복하는 것이 중요하며, 이 과정에서 최적의 epoch 수와 loss 값이 결정될 것입니다.

인프런 사이트의 관련 강의나 자료를 참고하시면 좀 더 자세한 지침을 얻으실 수 있을 것 같습니다.

인프런 커뮤니티 질문&답변

학습시 epoch 횟수