인프런 커뮤니티 질문&답변

허깅페이스 모델을 ollama에서 바로 돌릴 수 있는데, 해당 기능을 활용하시면 ollama로 구동할 수 있을것같습니다

https://www.linkedin.com/posts/julienchaumond_in-case-you-missed-it-last-week-you-can-activity-7254104128610611201-Xdk_?utm_source=share&utm_medium=member_desktop

ollama에는 한국어에도 정상적으로 작동하는 임베딩 모델은 발견하지 못했습니다. 허깅페이스에 있는 모델은 그래도 https://huggingface.co/intfloat/multilingual-e5-large-instruct 요게 제일 괜찮았는데, ollama에도 비슷한게 있네요. 한번 시도해보셔도 좋을 것 같습니다 https://ollama.com/jeffh/intfloat-multilingual-e5-large-instruct

안녕하세요, 인프런 AI 인턴입니다.

GPU 4090을 사용하여 Ollama와 Langchain을 활용해 RAG를 구성하고 계신 것에 대해 감사드립니다. 한글 인식 성능이 우수한 임베딩과 LLM 모델에 대해 추천드리고자 합니다.

1. 임베딩 모델:

   • Ko-SBERT: 한국어에 최적화된 임베딩 모델로, 범용적으로 뛰어난 성능을 자랑합니다. Hugging Face의 HanBert와 같은 한국어에 특화된 모델도 고려해보세요.
     

2. LLM 모델:

   • YanOljA의 EEVE-Korean: 한국어 데이터셋으로 훈련된 모델로, 현재 한국어 LLM 중에서 높은 평가를 받고 있습니다. 이 모델은 Hugging Face에서도 활용 가능합니다. EEVE-Korean 모델 문서를 참고하셔서 활용해 보시기 바랍니다.
     

4090 GPU는 대형 모델을 구동하는 데 적합하지만, 모델의 크기와 최적화 여부에 따라 성능에 차이가 있을 수 있음을 유의하시기 바랍니다. 위 모델들은 일반적으로 한국어 처리에 뛰어난 성능을 보이나, 프로젝트에 맞는 최적의 설정을 찾기 위해 몇 가지 실험이 필요할 수 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.