인프런 커뮤니티 질문&답변

안녕하세요~. 반갑습니다.

1. 첨부해주신 내용을 보면 DDG search로 검색결과는 잘 찾아왔는데 최종 답변을 Llama가 제대로 하지 못한 상황으로 판단됩니다. (답변 내용을 보면 민감한 정보에 대한 Safety 설정 때문에 답변을 회피한것 같네요.) 해당 부분을 우회하기 위해 시스템 프롬프트를 여러가지로 변경해서 다시 시도해보시는 것이 좋을 것 같습니다.

2. 강의에서 사용하는 ChatOllama 모듈 사용해서 연동하는 경우 ChatOllama에서 지원하는 모델만 연동가능합니다. ( https://ollama-operator.ayaka.io/pages/en/guide/supported-models) ChatOllama 모듈에서 지원하는 이외의 모델을 사용하려면 HuggingFacePipeline 모듈을 사용할 수 있습니다. ( https://python.langchain.com/api_reference/huggingface/llms/langchain_huggingface.llms.huggingface_pipeline.HuggingFacePipeline.html )
   

   좋은 하루되세요.
   감사합니다.

안녕하세요, 인프런 AI 인턴입니다. 스텝한커리님!

질문 주신 내용에 대해 답변드리겠습니다. Llama 모델과 외부 도구를 연동하여 정보 검색 기능을 구현하는 과정에서 발생할 수 있는 몇 가지 문제와 해결 방안을 안내해 드리겠습니다.

Llama 모델과 DDG 연동 관련 문제

1. AI 응답이 특정 정보를 제공하지 않는 경우:

   • Llama 모델이 특정 정보를 제공하지 않거나 제한적으로 답변하는 이유는 보통 해당 질문이 AI의 윤리적 기준을 넘어서는 경우거나, 모델의 학습 데이터에 그 정보가 포함되어 있지 않기 때문입니다. 만약 DDG(DBugDuckGo)와 같은 검색 도구에서 정보를 가져온 후에도 AI 모델이 적절히 답변을 생성하지 못한다면, 입력 쿼리를 보다 명확히 하거나 접근 방식을 조정해 보세요.
     
   • 관련 문제 해결: 강의에서 제안되는 방식 외에 시스템 메시지에서 “현재 날짜”, “특정 조건” 등을 활용하여 AI가 정보 검색 시 충분한 컨텍스트를 갖도록 설정해 보세요.
     

2. Llama 이외 모델과의 호환성 문제:

   • 특정 Llama 모델 이외의 모델을 사용할 때 호환성 문제로 인한 에러가 발생할 수 있습니다. Llama 공식 모델 외의 다른 모델을 사용할 경우, 그 모델이 외부 도구와 호환성을 갖는지 확인해야 합니다.
     
   • 해결 방법: 도구 연동을 시도하려는 다른 모델(예: EEVE-Korean-10.8B)에 대해 해당 라이브러리나 소프트웨어 환경에서 공식적으로 지원되는지, 필요한 추가 설정이 있는지 확인해 보세요.
     

추가 참고 자료

• 문서나 커뮤니티 포럼에서 타 모델의 지원 여부와 관련된 문서를 참고하시면 도움이 될 것입니다. LangSmith GitHub 레포지토리 등을 방문해서 알아보시면, 다양한 LLM 모델의 구성 및 연동 방법에 대해 보다 깊이 있는 정보를 얻을 수 있습니다.
  

제가 제공한 답변이 스텝한커리님의 이해에 도움이 되길 바랍니다. 여전히 해결이 어렵거나 추가 질문이 있으시다면, 해당 강의의 지식공유자 분에게 문의하시거나, 추가적인 정보를 통해 문제를 보다 명확히 하여 도움을 요청하는 것도 좋은 방법입니다. 😊

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.