묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
autotrain로 fine tuning 후 embedding vector 구하는 방법이 있을까요?
안녕하세요. mistral 과 llama2를 사용해서 embedding vector를 통해 챗봇을 구현하고 있습니다. 기존 모델로 embedding vector를 구하면 답변 검색이 잘 되지 않아서 파인튜닝을 한 후에 embedding vector를 구하려고 합니다. 학습과정에서 알려주신 대로 mistral 과 llama2의 fine tuning을 완료 했습니다. fine tuning한 모델에서 generate는 잘 동작하나, embedding vector가 생성이 되질 않아 질문 드립니다. 기존 모델을 통한 임베딩 방식은 다음과 같습니다. seq_ids = tokenizer(text, return_tensors='pt')["input_ids"]embedding = model(seq_ids)["last_hidden_state"].mean(axis=[0,1]).detach().numpy()기존 원본 모델에서는 'last_hidden_state' 값을 통해서 계산하지만fine tuning한 모델에서는 'logits' 값만 존재 합니다. - 원본 모델 리턴값 : odict_keys(['last_hidden_state'])- fine tuning 모델 리턴값 : odict_keys(['logits']) 그래서 파인튜닝한 모델을 보면 Peft 와 Lora로 한번 레이어로 감싼 형태로 리턴되서 그럴꺼라 추측하는데요.기존 모델 MistralForCausalLM( (model): MistralModel( (embed_tokens): Embedding(46081, 4096, padding_idx=2) (layers): ModuleList( (0-31): 32 x MistralDecoderLayer( (self_attn): MistralAttention( (q_proj): Linear(in_features=4096, out_features=4096, bias=False) (k_proj): Linear(in_features=4096, out_features=1024, bias=False) (v_proj): Linear(in_features=4096, out_features=1024, bias=False) (o_proj): Linear(in_features=4096, out_features=4096, bias=False) (rotary_emb): MistralRotaryEmbedding() ) (mlp): MistralMLP( (gate_proj): Linear(in_features=4096, out_features=14336, bias=False) (up_proj): Linear(in_features=4096, out_features=14336, bias=False) (down_proj): Linear(in_features=14336, out_features=4096, bias=False) (act_fn): SiLUActivation() ) (input_layernorm): MistralRMSNorm() (post_attention_layernorm): MistralRMSNorm() ) ) (norm): MistralRMSNorm() ) (lm_head): Linear(in_features=4096, out_features=46081, bias=False) ) 파인튜닝한 모델 PeftModelForCausalLM( (base_model): LoraModel( (model): MistralForCausalLM( (model): MistralModel( (embed_tokens): Embedding(46081, 4096, padding_idx=2) (layers): ModuleList( (0-31): 32 x MistralDecoderLayer( (self_attn): MistralAttention( (q_proj): Linear4bit( in_features=4096, out_features=4096, bias=False (lora_dropout): ModuleDict( (default): Dropout(p=0.05, inplace=False) ) (lora_A): ModuleDict( (default): Linear(in_features=4096, out_features=16, bias=False) ) (lora_B): ModuleDict( (default): Linear(in_features=16, out_features=4096, bias=False) ) (lora_embedding_A): ParameterDict() (lora_embedding_B): ParameterDict() ) (k_proj): Linear4bit(in_features=4096, out_features=1024, bias=False) (v_proj): Linear4bit( in_features=4096, out_features=1024, bias=False (lora_dropout): ModuleDict( (default): Dropout(p=0.05, inplace=False) ) (lora_A): ModuleDict( (default): Linear(in_features=4096, out_features=16, bias=False) ) (lora_B): ModuleDict( (default): Linear(in_features=16, out_features=1024, bias=False) ) (lora_embedding_A): ParameterDict() (lora_embedding_B): ParameterDict() ) (o_proj): Linear4bit(in_features=4096, out_features=4096, bias=False) (rotary_emb): MistralRotaryEmbedding() ) (mlp): MistralMLP( (gate_proj): Linear4bit(in_features=4096, out_features=14336, bias=False) (up_proj): Linear4bit(in_features=4096, out_features=14336, bias=False) (down_proj): Linear4bit(in_features=14336, out_features=4096, bias=False) (act_fn): SiLUActivation() ) (input_layernorm): MistralRMSNorm() (post_attention_layernorm): MistralRMSNorm() ) ) (norm): MistralRMSNorm() ) (lm_head): Linear(in_features=4096, out_features=46081, bias=False) ) ) ) fine tuning을 한 모델에서는 embedding vector 를 구하는게 불가능한건가요? +추가 model.merge_and_unload() 를 써봤지만 소용없었습니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
autotrain advanced 질문
autotrain advanced 사용시 --use_peft 옵션을 사용하면 어떤 peft 방식을 사용하게 되는건가요?autotrain advanced 사용시 LoRA, Prefix Tunning 등 특정 방식으로 학습하도록 선택이 가능한가요?autotrain advanced에서 --use_peft 등 parameter 값들에 대한 사용법이나 정보를 어디서 얻을 수 있나요? document 페이지를 찾아보려고 하는데 내용이 잘 없는것같아서요.autotrain advanced는 유료인가요? 이런 페이지를 봤습니다. https://huggingface.co/docs/autotrain/cost
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
Part2 강의 주제 질문있습니다.
안녕하세요, 신규 오픈돈 part2 수강고민중인 학생입니다.혹시 해당 강의가 한국어 기반의 LLM 일까요? (예, 영어가 아닌 한국어 기반 RAG,document)
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
Llama2 학습시 일반 질문 답변
Llama2 학습시 일반 질문 답변 관련 해서 문의드립니다. 이번강의에서 Llama2를 파인튜닝하는것 으로 알고있는데,기본적으로 학습되어있는 모델을 추가 정보를 넣어준다는 개념으로 알고 있었습니다. 결과 테스트시, 20문장 외엔 어떠한 답변도 못하는것을 확인 했는데, 저희가 사용한 모델(TinyPixel/Llama-2-7B-bf16-sharded)이 정보도 가지고 있지않아서그런건가요? 기본적인 대화가 가능한 모델은 어떤게 있을까요?
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
에러 정보 문의드립니다.
colab무료 자원이 없어서, jupyter notebook환경에서 fine-turning을 진행하는데 CUDA Version: 12.2 에서 autotrain llm시libcusparse.so.11: cannot open shared object file: No such file or directory 에러가 발생하고 있습니다. 혹시 해결방법을 조언받을수 있을까요?
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
PEFT 실습 4에서 training시작할때 out of memory가 발생합니다.
PEFT 실습 4에서 training시작할때 out of memory가 발생합니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
문제에 봉착했습니다!!도움 부탁드립니다.
openai.FineTuningJob.create(training_file="file-G8e3McuXFWVZnm1XSNB-----", model="gpt-3.5-turbo")위의 코드에 대해서 아래와 같이 메세지가 나오면서 실행이 안됩니다 ㅠㅜ { "name": "AttributeError", "message": "module 'openai' has no attribute 'FineTuningJob'", "stack": "--------------------------------------------------------------------------- AttributeError Traceback (most recent call last) /Users/loveyourself/dev/LLM/chatBot/worKBee/worKBee.ipynb 셀 3 line 1 ----> <a href='vscode-notebook-cell:/Users/loveyourself/dev/LLM/chatBot/worKBee/worKBee.ipynb#W3sZmlsZQ%3D%3D?line=0'>1</a> openai.FineTuningJob.create(training_file=\"file-G8e3McuXFWVZnm1XSNBtMrmA\", model=\"gpt-3.5-turbo\") AttributeError: module 'openai' has no attribute 'FineTuningJob'" } FineTuningJob 이 없다고 하는데 어떻게 해야하나요..
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
Korquad 데이터셋
강의잘듣고있습니다.Korquad데이터셋을 나만의 데이터로 만드는 쉬운 방법이 있나요? 하나하나 직접 작성해야되는건지 문의드립니다. 또한 나만의 데이터는 gpt를 통해서 학습 등이 어려워서 추가데이터를 만들때 사용을 못할 것 같은데 방법이 있는지 문의드립니다
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
llama2 모델리뷰 슬라이드는 어디서 다운받을 수 있을까요?
llama2 모델리뷰 슬라이드는 어디서 다운받을 수 있을까요? 첨부파일에는 03 폴더가 없네요
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
Gpt3.5 FineTuning 을 보고 문의 드립니다.
안녕하세요. 강의 잘 보고 있습니다.이렇게 좋은 강의를 제공해 주셔서 감사합니다. 2가지 케이스에 대한 문의 사항이 있습니다.이런 경우에는 어떻게 해야 하는건가요?가령 예를 들어서 gpt api 를 이용해서 사내 업무에 특화된 서비스를 개발하려고 합니다.첫번째 케이스는 회사의 업무를 만드는 케이스입니다.1. 가령 인사업무, 총무업무,회계업무 등의 다양한 업무가 있다면 이런것들은 인사,총무,회계 등의 형태로 모델을 다 다르게 만들고 질문의 영역이 들어올 때 이 문제가 인사인지, 총무인지,회계인지 등으로 먼저 파악을 하고 질문에 대해서 각각 모델을 지정해서 응답을 하도록 만들어야 하는지아니면 회사전체의 모든 업무를 담을 수 있는 하나의 모델을 만들고 거기에 fine tuning 을 시켜야 하는지요.?이 경우에 회사에서 사용하는 api 의 경우는 finetuning 된 모델을 사용하도록 지정을 해도 되나요? 그러니까 제가 fine tuning 한 모델을 지정을 하면 그것만 답변을 잘하고 다른것들은 답변을 잘 못하게 되나요?두번째 케이스는 개발업무를 assist 하는 케이스를 만들고 싶은데요 1. 이런 경우에 db 테이블 정보를 fine tuning 의 형태로 학습 시키는 것이 가능한가요?가령 주요 테이블 정보를 fine tuning 시키고 query 를 만들때 fine tuning 된 테이블 정보를 이용해서 query 를 만든다거나 하는 형태가 가능할까요? 바쁘실텐데 시간내셔 답변주시면 정말 많은 도움 될듯합니다. 감사합니다. ^^
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
Fine-Tuning 한 Model 을 다시 Fine-tuning 할 수 있나요?
학습 중에 궁금한 점이 생겨 질문 드립니다.fine-tuning 한 이후에 추가로 학습 시키고 싶은 dataset이 생겼을 경우,이전 학습된 peft model 을 이어서 fine tuning 을 진행 할 수 있을까요?
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
학습 중 궁금한 부분 문의합니다
안녕하세요 라마2에 한국어 데이터셋만 학습해도 한국어 질문 답을 하는 것을 보고 궁금해서요 한국어 데이터 셋만 학습을 해도 라마2에서 한국어를 이해하고 대답하는 건지요 그리고 예제에서 질문을 한 후 받는 대답이 너무 짧게 나오는데요 이부분은 데이터셋의 답 부분이 짧아서 그런 가요 gpt는 엄청 길게 답을 하는데 이부분이 궁금하네요
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
강의 노트가 없습니다.
강의 수강하고 있는데 동영상 강의만 있고강의 노트를 받는 곳이 없습니다.
-
해결됨모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
패키지 버전 궁금합니다
안녕하세요!혹시 본 강의에서 사용하신 모든 라이브러리 버전을 알 수 있는 방법이 있을까요?개인적으로 도커를 통해서 학습을 진행중인데, 버전에 따라 발생하는 에러가 있는거 같아서 문의드립니다. 감사합니다.
-
해결됨모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
[질문] Llama2 Autotrain 작동 시
ERROR train has failed due to an exception: TypeError: LlamaForCausalLM.__init__() got an unexpected keyword argument 'use_flash_attention_2'안녕하세요, Autotrain library를 활용하여 fine-tuning 중 아래와 같은 에러가 발생하였는데요. 혹시 어떻게 해결할 수 있을지 궁금합니다. 제 환경에 필요한 정보가 필요하시다면 언제든지 말씀드리겠습니다.감사드립니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
강의 자료는 어디서 다운받나요?
강의 자료는 어디서 다운받나요?
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
강의자료 다운로드 가능한가요?
강의자료나 실습코드를 찾을 수가 없는데요. 자료 제공이 원래 안 되는지 궁금합니다.
