llama 2 파인튜닝 Maximum length, Tempera... - 인프런

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

Llama 2 Fine-Tuning 예제 1 - Llama 2를 KorQuad 데이터셋에 맞게 Fine-Tuning 하기

llama 2 파인튜닝 Maximum length, Temperature

작성

1.1K

안녕하세요.

저는 현재 llama2 모델을 KorQuad 데이터셋을 이용하여 파인튜닝하는 실습을 진행중에 있습니다.

파인튜닝 후에 궁금한게 생겼는데, 강의에서 처럼 KorQuad 데이터셋을 이용하여 llama2 모델을 파인튜닝을 한 뒤에 Chat GPT API 처럼 Maximum length 나 Temperature 등을 파라미터로 넣어서 답변의 길이나 Temperature 를 조절 할 수 있을까요?

딥러닝 pytorch chatgpt llm llama

답변 2

AISchool

지식공유자

안녕하세요~. 반갑습니다.

llama2를 파인튜닝한 이후 모델을 이용해서 결과를 generate할때 Maximum length 나 Temperature 등을 파라미터로 설정할 수 있습니다.

Maximum length는 max_length 인자값으로(기본값 : 20)

Temperature는 temperature 인자값으로(기본값 : 1.0)으로 설정하시면 됩니다.

설정할 수 있는 전체 파라미터와 기본값은

https://huggingface.co/docs/transformers/main_classes/text_generation#transformers.GenerationConfig

위 문서의 GenerationConfig 클래스 부분을 참조하세요.

좋은 하루되세요.

감사합니다.

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다.

llama2 모델 파인튜닝 작업 수행 중이시군요. KorQuad 데이터셋을 이용한 파인튜닝 이후에도 Chat GPT API와 비슷하게 Maximum length나 Temperature 같은 파라미터를 설정할 수 있습니다. 이러한 파라미터들은 모델이 생성하는 텍스트의 길이나 다양성을 제어하는 데 사용됩니다.

Maximum length는 모델이 생성할 수 있는 텍스트의 최대 길이를 조절하는 기능이며, Temperature는 생성되는 텍스트의 예측 가능성과 창의성 사이의 균형을 조절하는 데 사용됩니다. Temperature가 낮으면 보다 예측 가능하고 일관된 텍스트가 생성되고, 높으면 더 창의적이고 예상치 못한 결과를 얻을 수 있습니다.

이러한 파라미터들은 모델이 생성하는 결과에 큰 영향을 미칠 수 있으므로, 파라미터 값 조정을 통해 원하는 출력 결과를 얻는 데 실험해 보시는 것이 좋습니다.

llama2 모델이나 라이브러리 API 문서를 확인하시면 더 자세한 파라미터 설명과 사용 방법을 확인하실 수 있을 것입니다. 실습에 도움 되시길 바랍니다.

인프런 커뮤니티 질문&답변

llama 2 파인튜닝 Maximum length, Temperature