인프런 커뮤니티 질문&답변

작성한 질문수

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

[질문] Llama2 Autotrain 작동 시

해결된 질문

작성

645

 ERROR   train has failed due to an exception:

TypeError: LlamaForCausalLM.__init__() got an unexpected keyword argument 'use_flash_attention_2'

안녕하세요, Autotrain library를 활용하여 fine-tuning 중 아래와 같은 에러가 발생하였는데요. 혹시 어떻게 해결할 수 있을지 궁금합니다. 제 환경에 필요한 정보가 필요하시다면 언제든지 말씀드리겠습니다.

감사드립니다.

답변 1

지식공유자

안녕하세요~. 반갑습니다.

autotrain-advanced 라이브러리 버전이 강의에서 사용하는 버전과 일치하는지 체크해보시면 좋을 것 같습니다.

아래 명령어를 이용해서 강의에서 사용하는 autotrain-advanced 라이브러리 버전을 확인할 수 있습니다. (아래 명령어로 확인해보시면 현재는 0.6.35 버전을 사용하고 있습니다.)

!pip show autotrain-advanced

좋은 하루되세요.

감사합니다.

질문자

감사합니다!

덕분에 최근 한국어 기반 LLM Fine-Tuning을 학습하고 있어서 기쁘네요! 알찬강의 감사드립니다.

이 문제는 처음부터 환경을 구성하고나니 해결이 되었네요!

작성한 질문수