autotrain-advanced install 에러

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

Llama 2 Fine-Tuning 예제 1 - Llama 2를 KorQuad 데이터셋에 맞게 Fine-Tuning 하기

작성

831

!pip install -q autotrain-advanced

를 통해서 autotrain-advanced를 설치하려고 하면 다음과 같은 에러가 뜨는데 어떻게 해결해야 하나요?

ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. lida 0.0.10 requires kaleido, which is not installed. llmx 0.0.15a0 requires cohere, which is not installed. llmx 0.0.15a0 requires openai, which is not installed. tensorflow-metadata 1.14.0 requires protobuf<4.21,>=3.20.3, but you have protobuf 4.23.4 which is incompatible. tensorflow-probability 0.22.0 requires typing-extensions<4.6.0, but you have typing-extensions 4.9.0 which is incompatible.

!autotrain llm --train \
    --project_name "llama2-korquad-finetuning-da" \
    --model "TinyPixel/Llama-2-7B-bf16-sharded" \
    --data_path "data" \
    --text_column "text" \
    --use_peft \
    --use_int4 \
    --learning_rate 2e-4 \
    --train_batch_size 8 \
    --num_train_epochs 40 \
    --trainer sft \
    --model_max_length 256

이 부분에서는 다음과 같은 에러가 나옵니다.

usage: autotrain <command> [<args>] AutoTrain advanced CLI: error: unrecognized arguments: --use_peft --use_int4

딥러닝 pytorch chatgpt llm llama

답변 2

AISchool

지식공유자

안녕하세요~. 반갑습니다.

아래 명령어로 pip 버전을 업그레이드 한뒤 다시 설치를 시도해보시기 바랍니다.

pip install --upgrade pip

좋은 하루되세요.

감사합니다.

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다.

설치 과정에서 발생하는 에러와 실행 시 발생하는 에러를 해결하기 위해 다음과 같은 방법을 제안드립니다.

설치 에러 해결:
- 필요한 패키지를 명시적으로 설치하세요. 다음과 같이 필요한 패키지들을 설치해보세요.
```
!pip install -q kaleido cohere openai tensorflow-metadata protobuf tensorflow-probability
```
- 설치한 패키지들이 다른 버전의 패키지와 충돌을 주의하여 호환 가능한 버전을 선택하여 설치합니다. 예를 들어, protobuf는 <4.21 버전으로, typing-extensions는 <4.6.0 버전으로 설치해야 호환됩니다.
실행 에러 해결:
- autotrain 명령어에서 사용하지 않는 --use_peft와 --use_int4 옵션을 제거합니다. 해당 옵션들이 autotrain의 올바른 옵션이 아닐 가능성이 있으며, 사용 가능한 옵션들에 대해서는 도움말을 참조하거나 공식 문서를 확인해 주세요.

로컬 환경에서 autotrain-advanced 패키지가 올바르게 설치되고 실행되는지 확인해보시고, 문제가 지속된다면 inflearn의 “문의하기” 기능을 통해 직접 문의하여 도움을 받으실 수 있습니다. 또한, 해당 강의 Q&A 섹션을 확인하여 다른 학습자들의 비슷한 문제 해결 경험을 참고하실 수도 있습니다.

인프런 문의하기

인프런 커뮤니티 질문&답변

autotrain-advanced install 에러