인프런 커뮤니티 질문&답변

Kyung-il In님의 프로필 이미지
Kyung-il In

작성한 질문수

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

학습 중 궁금한 부분 문의합니다

작성

·

268

0

안녕하세요

라마2에 한국어 데이터셋만 학습해도 한국어 질문 답을 하는 것을 보고 궁금해서요

한국어 데이터 셋만 학습을 해도 라마2에서 한국어를 이해하고 대답하는 건지요

 

그리고 예제에서 질문을 한 후 받는 대답이 너무 짧게 나오는데요 이부분은 데이터셋의 답 부분이 짧아서 그런 가요 gpt는 엄청 길게 답을 하는데 이부분이 궁금하네요

 

 

답변 1

1

AISchool님의 프로필 이미지
AISchool
지식공유자

안녕하세요~. 반갑습니다.

 

  1. 한국어 데이터셋만 학습을 해도 라마2에서 한국어를 이해하고 대답한다는 것이 무슨 뜻인지 정확히 이해하지 못했습니다ㅠ. [한국어+영어 데어터셋]이 아니라 [한국어 데이터셋]만 사용해서 학습해도 되냐는 의미로 질문하신것인가요?
    실습에서 볼 수 있듯이 [한국어 데이터셋]만을 이용해서 학습을 진행해도 라마2에서 한국어를 이해하고 대답할 수 있습니다. 다만 모든 한국어 문장을 이해하고 다 처리할수 있는 것은 아니고 Fine-Tuning에 사용한 데이터와 유사한 형태의 한국어 문장만을 이해하고 처리할 수 있게됩니다.

     

     

     

  2. 대답이 짧게 나오는 것은 말씀해주신대로 Fine-Tuning 데이터셋을 모두 단답형으로 구성한뒤 학습을 진행해서 그렇습니다. 긴 대답이 나오는 형태로 만드려면 Fine-Tuning 데이터셋을 긴대답 형태로 구성해준뒤 Fine-Tuning을 진행해야만 합니다.

좋은 하루되세요~.

감사합니다.

Kyung-il In님의 프로필 이미지
Kyung-il In

작성한 질문수

질문하기