인프런 커뮤니티 질문&답변
작성한 질문수
with_structured_output 함수
작성
·
74
0
안녕하세요
OpenAI 를 활용해 llm 을 생성할 경우에는 with_structured_output 을 사용할 수 있는데요
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0, openai_api_key=OPENAI_KEY)
structured_llm = llm.with_structured_output(TutorialSearch)
query_analyzer = prompt | structured_llm혹시 Llma3 모델에서도 with_structured_output 를 사용할 수 있나요?
프롬프트 관련 동영상 예제에서는 거의 ChatOpenAI 를 활용하시는것 같아서요 ..
강의 재미있게 잘 듣고 있습니다
감사합니다
답변 1
0
안녕하세요~. 반갑습니다.
먼저 강의를 잘 듣고 계시다니 기쁘네요^^.
LangChain으로 Llama 3를 활용할 경우 OpenAI API처럼 Structured output 기능은 지원하지 않지만 해당 기능과 유사하게 활용할 수 있는 JSON mode라는 기능을 지원하고 있습니다. ( https://python.langchain.com/docs/integrations/chat/ollama/ 를 참조하세요.)
JSON mode 기능을 이용하면 Structured output과 유사하게 Llama 모델을 이용해서 정형화된 output을 출력할 수 있습니다.
JSON mode를 이용해서 정형화된 output을 출력하는 방법 같은 경우 아래 예제를 참고하시거나
https://langchain-ai.github.io/langgraph/tutorials/rag/langgraph_adaptive_rag_local/
혹시 [모두를 위한 대규모 언어 모델 LLM Part 5 - LangGraph로 나만의 AI 에이전트 만들기] 강의도 수강하신다면 해당 강의의 [Llama 모델을 이용해서 Adaptive RAG 시스템 만들기] 강의 영상을 참조하세요.
좋은 하루되세요.
감사합니다.