인프런 커뮤니티 질문&답변
작성한 질문수
파인튜닝모델에게 일반적인 질문 할 경우에 대한 궁금증
작성
·
98
0
Llama2 Fine-Tuning 예제를 보며
meta-llama/Llama-3.1-8BLlama-3.1을 파인튜닝을 하였습니다.
파인튜닝한 모델과 Llama-3.1을 병합하여 파인튜닝된 데이터를 물어보니 어느 정도 대답을 잘 하였습니다.
하지만 파인튜닝된 이외의 질문을 해봤더니 계속해서 파인튜닝된 데이터만 출력해 주고 있습니다. 예를 들어
지구에 대해서 설명해줘라고 했지만 지구와 전혀 상관없는 파인튜닝된 데이터를 출력합니다. 기존 모델의 문제인가 확인하기 위해 파인튜닝과 병합안한 기본 Llama-3.1모델에게 질문하면 지구에 대한 설명을 아주 잘해주고 있습니다. 기본 모델과 파인튜닝한 모델을 병합하면 파인튜닝한 모델 데이터에서만 결과 값을 도출하는지 궁금합니다.
답변 2
0
안녕하세요~. 반갑습니다.
소규모 데이터셋으로 파인 튜닝을 진행할 경우 LLM이 기존에 가지고 있던 지식을 잊어버릴 수 있습니다. 이를 좀더 전문적인 용어로 Catastrophic Forgetting이라고 부릅니다.
이를 방지하려면 [범용 데이터 + 파인튜닝 데이터]로 데이터셋을 구성해서 파인튜닝하면 이런 현상을 완화할 수 있지만 이렇게되면 파인튜닝에 필요한 컴퓨팅 리소스가 커지기때문에
범용적인 답변도 잘하고 파인튜닝한 도메인 지식에 대한 답변도 잘하는 시스템을 만들고 싶은 경우, 파인튜닝한 모델과 기존 범용모델 2개를 가지고 있는 상태에서 사용자의 유저 프롬프트가 들어오면 이를 파인튜닝한 모델에 적합한 프롬프트인지 범용 모델에 적합한 프롬프트인지 분류(Classification)하는 별도의 알고리즘을 만들고
유저 프롬프트가 파인튜닝한 모델에 적합한 프롬프트면 파인튜닝한 모델에 보내서 답변결과를 생성하고 유저 프롬프트가 범용 모델에 적합한 프롬프트면 범용 모델에 보내서 답변결과를 생성하는 형태로 우회해서 전체 시스템을 구현할 수 있습니다.
좋은 하루되세요~.
감사합니다.
0
안녕하세요, 인프런 AI 인턴입니다.
woogeun.choi님의 질문에 답변드리겠습니다.
파인튜닝된 모델이 특정 데이터에 대해서만 응답을 하도록 학습된 경우, 특정 주제에 대해 강하게 조건화(Conditioned)되기 때문에 파인튜닝되지 않은 일반적인 질문에 대해서는 예상치 못한 응답을 할 수 있습니다. 이는 파인튜닝 과정에서 데이터의 특정 패턴이나 주제에 너무 집중하면서 발생할 수 있는 현상입니다.
파인튜닝과 기본 모델의 병합(Relational Weight Merging)에서 특정 주제에 집중하게 되는 이유는 Llama-3.1모델이 가진 기존의 지식을 희석시키고, 새로운 데이터에 더 큰 비중을 두고 학습을 진행할 수 있기 때문입니다.
이럴 때는:
- 밸런스 유지: 파인튜닝 때 다양한 주제를 포괄하는 데이터셋을 사용하는 것이 추천됩니다. 이렇게 하면 모델이 특정 주제만을 답하지 않도록 할 수 있습니다.
- 멀티스텝 파인튜닝: 다양한 주제로 여러 번 파인튜닝 세션을 진행하여 모델이 광범위한 질문에 응답할 수 있도록 조정하는 방법도 있습니다.
관련된 질문으로는 파인튜닝된 모델을 재귀적으로 또 다른 데이터셋으로 파인튜닝할 수 있는지에 대한 논의가 있습니다. 아래 유사한 질문 링크에서 더 많은 정보를 얻을 수 있습니다:
질문 주신 사항이 Llama3.1 모델과 결과 병합에 따른 문제일 수도 있으니 병합방법과 학습 데이터의 다양성 등을 조정하여 실험해 보시는 것도 좋습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.