fine-tuning 완료된 모델 관련 질문

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

Llama 3 Fine-Tuning 예제 1 - KorQuad 데이터셋에 Fine-Tuning된 Llama 3 예측(Inference) 및 ChatGPT(GPT-4)와 성능 비교

작성

124

autotrain 으로 학습이 완료 된 모델을 Langchain 을 이용하여 서비스 해보고 싶습니다.

1. autotrain 으로 학습된 모델도 Langchain 에서 사용할 수 있나요?

Langchain 에서 사용하려면 어떻게 해야할까요?

딥러닝 pytorch chatgpt llm llama

답변 2

AISchool

지식공유자

안녕하세요~. 반갑습니다.

autotrain으로 학습된 모델을 langchain으로 연동하려면 HuggingFacePipeline을 사용하시면 됩니다. HuggingFacePipeline 사용법은 아래 LangChain 공식 문서를 참조하세요.

https://python.langchain.com/v0.2/docs/integrations/llms/huggingface_pipelines/

정리하면 model과 tokenizer를 불러온뒤 아래와 같이 pipeline으로 연동해서 사용하시면 됩니다.

------------------------------------------------------------------------------------

from langchain_huggingface.llms import HuggingFacePipeline

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)

hf = HuggingFacePipeline(pipeline=pipe)

from langchain_core.prompts import PromptTemplate

template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

chain = prompt | hf

question = "What is electroencephalography?"

print(chain.invoke({"question": question}))

-------------------------------------------------------------------------------------
좋은 하루 되세요.
감사합니다.

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다.

님께서 문의하신 내용은 제공받은 정보와 직접적인 연관이 없어, 구체적인 답변을 드리기 어려운 점 양해 부탁드립니다.

Langchain을 이용하여 autotrain으로 학습된 모델을 서비스하는 방법에 대해서는 Langchain의 공식 문서나 해당 커뮤니티를 통해 더 자세한 정보를 얻으시는 것을 추천드립니다.

원하는 답변을 찾지 못하셨나요?
그럼 우측 하단의 ‘문의하기’ 에서 직접 문의해보시거나, 관련 온라인 플랫폼에서 추가 도움을 받으시는 것도 좋겠습니다.

감사합니다.

인프런 커뮤니티 질문&답변

fine-tuning 완료된 모델 관련 질문