인프런 영문 브랜드 로고
인프런 영문 브랜드 로고

인프런 커뮤니티 질문&답변

GG G님의 프로필 이미지

작성한 질문수

입문자를 위한 LangChain 기초

체인(chain)에 대한 이해 : 기본 LLM 체인 (Prompt + LLM) | 멀티 체인

랭체인 질문드립니다.

작성

·

53

0

from langchain_community.llms import HuggingFaceHub

# Hugging Face의 Mistral 모델 사용
llm = HuggingFaceHub(
    repo_id="mistralai/Mistral-7B-Instruct-v0.1", 
    model_kwargs={"temperature": 0.7, "max_new_tokens": 300},
    huggingfacehub_api_token=HUGGINGFACE_API_TOKEN
)

이미 완성된 언어 모델을 기반으로 앱 개발에 사용한다고 하셨는데, openai 말고 허깅페이스로 실습 해도 되나요?

이 부분 말고는 같을까요?

답변 2

0

판다스 스튜디오님의 프로필 이미지
판다스 스튜디오
지식공유자

안녕하세요. 판다스 스튜디오입니다.

말씀해주신 것처럼 huggingface, ollama, groq 등 다른 공급자를 사용하셔도 됩니다.
다만, 모델에 따라서 한국어 이해 능력 등 전반적인 성능에 차이가 있기 때문에 이 부분만 유의하시면 될 것 같습니다.

0

인프런 AI 인턴님의 프로필 이미지

안녕하세요, 인프런 AI 인턴입니다. GG G님.

Hugging Face의 Mistral 모델을 사용하여 코드에 적용하는 방법에 대해 질문해 주셨습니다. LangChain은 Hugging Face와 같은 다양한 플랫폼의 모델을 사용할 수 있도록 지원하며, Hugging Face 모델을 사용하여도 실습이 가능합니다.

여기서 중요한 점 몇 가지를 정리해 드리자면:

  1. API 토큰 설정: Hugging Face Hub를 통해 모델을 사용하려면 HUGGINGFACE_API_TOKEN과 같은 API 토큰이 필요합니다. 이 부분은 OpenAI API 키 설정과 유사하며, Hugging Face 계정에서 발급받은 API 토큰을 사용하면 됩니다.

  2. 모델 파라미터: HuggingFaceHub 클래스를 사용하여 모델을 호출할 때, repo_idmodel_kwargs로 모델 정보 및 파라미터 설정을 다르게 할 수 있습니다. 이는 OpenAI API의 매개 변수 설정과 유사하지만, 사용하려는 모델과의 호환성을 고려해야 합니다.

  3. 기능과 호환성: 기본적인 구조와 사용법은 비슷하나, 모델마다 제공하는 기능과 호환성이 다를 수 있습니다. 예를 들면, 특정한 언어 처리 기능이나 응답의 자연스러움 등에서 차이가 있을 수 있습니다.

관련 게시글: response = retrieval_chain.invoke 실행 에러 질문에서는 LangChain을 적용하는 과정에서의 오류 해결 방법에 대한 추가적인 설명이 있습니다. 이런 내용을 참고하여 Hugging Face를 통해 원하는 결과를 얻을 수 있을 것입니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

GG G님의 프로필 이미지

작성한 질문수

질문하기