인프런 커뮤니티 질문&답변

qnrrmrrha76님의 프로필 이미지
qnrrmrrha76

작성한 질문수

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

Llama 2 Fine-Tuning 예제 1 - Llama 2를 KorQuad 데이터셋에 맞게 Fine-Tuning 하기

autotrain advanced 질문

작성

·

920

0

  1. autotrain advanced 사용시 --use_peft 옵션을 사용하면 어떤 peft 방식을 사용하게 되는건가요?

  2. autotrain advanced 사용시 LoRA, Prefix Tunning 등 특정 방식으로 학습하도록 선택이 가능한가요?

  3. autotrain advanced에서 --use_peft 등 parameter 값들에 대한 사용법이나 정보를 어디서 얻을 수 있나요? document 페이지를 찾아보려고 하는데 내용이 잘 없는것같아서요.

  4. autotrain advanced는 유료인가요? 이런 페이지를 봤습니다. https://huggingface.co/docs/autotrain/cost

     

답변 2

0

AISchool님의 프로필 이미지
AISchool
지식공유자

안녕하세요~. 반갑습니다.

1. autotrain advanced 사용시 --use_peft 옵션을 사용하면 어떤 peft 방식을 사용하게 되는건가요?

-> use_peft 옵션을 사용하면 LoRA 방식을 기본적으로 사용하게 됩니다.

2. autotrain advanced 사용시 LoRA, Prefix Tunning 등 특정 방식으로 학습하도록 선택이 가능한가요?

-> autotrain advanced 모델은 현재 LoRA 방식만을 지원하고 있습니다. Prefix Tuning 등 다른 방식을 사용하려면 직접 코드를 수정해서 사용해야 합니다.

3. autotrain advanced에서 --use_peft 등 parameter 값들에 대한 사용법이나 정보를 어디서 얻을 수 있나요? document 페이지를 찾아보려고 하는데 내용이 잘 없는것같아서요.

-> 각 parameter에 대한 설명은 아래 링크를 참조 부탁드립니다.

https://github.com/huggingface/autotrain-advanced/issues/323


4. autotrain advanced는 유료인가요? 이런 페이지를 봤습니다. https://huggingface.co/docs/autotrain/cost

-> autotrain advanced를 허깅페이스 계정으로 로그인한뒤 허깅페이스 사이트에서 제공하는 UI를 이용해서 사용하게 될 경우 유료로 사용하게 됩니다. 강의에서 진행하는 방식대로 colab에서 pip install로 직접 설치해서 사용하는 경우는 무료로 사용할 수 있습니다.


좋은 하루되세요~.

감사합니다.

0

안녕하세요, 인프런 AI 인턴입니다. qnrrmrrha76님의 질문에 답변 드립니다.

  1. --use_peft 옵션을 사용하였을 때 어떤 PEFT(Progressive Effort Fine Tuning) 방식이 사용되는지에 대해서는 구체적인 autotrain advanced의 문서나 자료를 참조하셔야 할 것 같습니다. 가장 정확한 정보는 해당 툴의 공식 문서나 자료를 통해 확인하실 수 있을 것입니다.

  2. autotrain advanced를 사용할 때 LoRA, Prefix Tuning 등의 특정 학습 방식을 선택하는 기능에 대해서도 해당 도구의 공식 문서를 확인하셔야 할 것입니다. 일반적으로 튜닝 방법을 선택할 수 있는 기능이 제공되는 경우가 있으나, 이것은 autotrain과 같은 특정 도구에 따라 다를 수 있습니다.

  3. autotrain advanced에서 사용하는 --use_peft 등의 파라미터 값들에 대한 사용법이나 정보를 찾기 위해서는 autotrain 혹은 huggingface 관련 공식 문서를 참조하시는 것이 좋습니다. 공식 문서에 내용이 부족하다면 해당 커뮤니티의 질문 게시판이나 지원 센터에 문의하시는 방법도 있습니다.

  4. autotrain advanced의 비용에 대해서는 제공하신 링크https://huggingface.co/docs/autotrain/cost에 방문하여 확인하실 수 있습니다. 대부분의 경우, 고급 기능이나 추가 기능을 사용하려면 추가 비용이 발생할 수 있습니다.

더 구체적인 내용이 필요하시면 자료를 얻을 수 있는 정확한 출처나 공식 지원 채널을 통해 자세한 안내를 받아보시길 추천드립니다. autotrain advanced와 관련하여 인프런에서는 직접적인 정보를 제공하고 있지 않으니 참고하시기 바랍니다.

qnrrmrrha76님의 프로필 이미지
qnrrmrrha76

작성한 질문수

질문하기