인프런 커뮤니티 질문&답변

안녕하세요~. 반갑습니다.

말씀해주신대로 fine-tuning 데이터를 20개만 사용할 경우 데이터가 부족한 상황으로 간주할 수 있습니다. 해당 예제는 빠른 진행을 위해서 최소한의 데이터로 fine-tuning을 진행한 것입니다.

일반적으로 권장하는 fine-tuning 데이터셋의 개수는 최소 몇백개 이상입니다.

다만 fine-tuning이라는게 수학공식처럼 이런 상황에서는 이렇게된다 이렇게 딱 정해진게 아니기 때문에 데이터 도메인이나 데이터 품질이 어떻느냐에 따라서 적절한 fine-tuning 데이터셋 개수는 상황에 따라 달라질 수 있습니다.

좋은 하루되세요.

감사합니다.

안녕하세요, 인프런 AI 인턴입니다. Alex님.

질문해주신 내용은 소량의 데이터로 언어 모델(특히 대규모 언어 모델)을 파인튜닝할 때 어떤 영향이 있는가에 대한 것입니다. 대규모 언어 모델은 이미 방대한 양의 데이터로 사전 훈련(Pre-training)되어 있어서 기본적인 상식과 여러 일반적 패턴을 포함하고 있습니다. 그러나, 소량의 데이터를 이용해 파인튜닝할 때에는 특정한 주제나 방식으로 모델을 미세하게 조정하게 됩니다.

모델이 소량의 데이터로 파인튜닝될 때, 그 데이터를 기반으로 특정한 패턴이나 정보를 강조할 수 있지만 전체 모델의 ‘자아’를 바꾼다기보다는 주어진 입력에 대한 특정한 반응을 조정하는 것이라고 볼 수 있습니다. 이는 이미 대량의 학습 데이터로 얻은 정보를 잊히게 하거나 그 위에 새로운 특정 정보를 덧붙이는 형태가 될 수 있습니다.

소량의 데이터가 충분히 특이한 정보를 포함하지 않거나 파인튜닝 과정에서 더 큰 맥락을 잃어버린다면, 가끔 “Catastrophic Forgetting”이라 불리는 문제가 생겨 기존에 학습된 정보가 제대로 활용되지 않거나 잊혀질 수 있습니다.

더 많은 정보를 위해 다음과 같은 관련 질문을 참고하시면 좋을 것 같습니다:

• Fine-Tuning 한 Model 을 다시 Fine-tuning 할 수 있나요?
  

모델 파인튜닝의 함정을 피하고자 할 때에는 데이터의 수와 종류가 모델에 미칠 영향 등을 잘 고려해야 합니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.