Ollama로 사용가능한 한글 임베딩, LLM 모델 추천

Question

안녕하세요. 좋은 강의 감사합니다.
강의를 참고하여 standalone PC(GPU 4090)에서
Ollama, Langchain으로 RAG를 구성하고 테스트하고 있는데요.
혹시 한글 인식이 성능이 좋은 Ollama 임베딩, LLM 모델 추천해주실 수 있을까요? 4090급 GPU를 사용하다 보니 모델 선택 범위가 제한적이네요.

즐거운 하루 되세요.

강병진 · Answer

ollama에는 한국어에도 정상적으로 작동하는 임베딩 모델은 발견하지 못했습니다. 허깅페이스에 있는 모델은 그래도 https://huggingface.co/intfloat/multilingual-e5-large-instruct 요게 제일 괜찮았는데, ollama에도 비슷한게 있네요. 한번 시도해보셔도 좋을 것 같습니다 https://ollama.com/jeffh/intfloat-multilingual-e5-large-instruct

강병진 · Answer

허깅페이스 모델을 ollama에서 바로 돌릴 수 있는데, 해당 기능을 활용하시면 ollama로 구동할 수 있을것같습니다

https://www.linkedin.com/posts/julienchaumond_in-case-you-missed-it-last-week-you-can-activity-7254104128610611201-Xdk_?utm_source=share&utm_medium=member_desktop

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다.

GPU 4090을 사용하여 Ollama와 Langchain을 활용해 RAG를 구성하고 계신 것에 대해 감사드립니다. 한글 인식 성능이 우수한 임베딩과 LLM 모델에 대해 추천드리고자 합니다.

임베딩 모델:
- Ko-SBERT: 한국어에 최적화된 임베딩 모델로, 범용적으로 뛰어난 성능을 자랑합니다. Hugging Face의 HanBert와 같은 한국어에 특화된 모델도 고려해보세요.
LLM 모델:
- YanOljA의 EEVE-Korean: 한국어 데이터셋으로 훈련된 모델로, 현재 한국어 LLM 중에서 높은 평가를 받고 있습니다. 이 모델은 Hugging Face에서도 활용 가능합니다. EEVE-Korean 모델 문서를 참고하셔서 활용해 보시기 바랍니다.

4090 GPU는 대형 모델을 구동하는 데 적합하지만, 모델의 크기와 최적화 여부에 따라 성능에 차이가 있을 수 있음을 유의하시기 바랍니다. 위 모델들은 일반적으로 한국어 처리에 뛰어난 성능을 보이나, 프로젝트에 맞는 최적의 설정을 찾기 위해 몇 가지 실험이 필요할 수 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변

Ollama로 사용가능한 한글 임베딩, LLM 모델 추천