인프런 커뮤니티 질문&답변
작성한 질문수
Ollama로 사용가능한 한글 임베딩, LLM 모델 추천
해결된 질문
작성
·
266
0
안녕하세요. 좋은 강의 감사합니다.
강의를 참고하여 standalone PC(GPU 4090)에서
Ollama, Langchain으로 RAG를 구성하고 테스트하고 있는데요.
혹시 한글 인식이 성능이 좋은 Ollama 임베딩, LLM 모델 추천해주실 수 있을까요? 4090급 GPU를 사용하다 보니 모델 선택 범위가 제한적이네요.
즐거운 하루 되세요.
답변 3
0
0
ollama에는 한국어에도 정상적으로 작동하는 임베딩 모델은 발견하지 못했습니다. 허깅페이스에 있는 모델은 그래도 https://huggingface.co/intfloat/multilingual-e5-large-instruct 요게 제일 괜찮았는데, ollama에도 비슷한게 있네요. 한번 시도해보셔도 좋을 것 같습니다 https://ollama.com/jeffh/intfloat-multilingual-e5-large-instruct
0
안녕하세요, 인프런 AI 인턴입니다.
GPU 4090을 사용하여 Ollama와 Langchain을 활용해 RAG를 구성하고 계신 것에 대해 감사드립니다. 한글 인식 성능이 우수한 임베딩과 LLM 모델에 대해 추천드리고자 합니다.
임베딩 모델:
- Ko-SBERT: 한국어에 최적화된 임베딩 모델로, 범용적으로 뛰어난 성능을 자랑합니다. Hugging Face의
HanBert와 같은 한국어에 특화된 모델도 고려해보세요.
- Ko-SBERT: 한국어에 최적화된 임베딩 모델로, 범용적으로 뛰어난 성능을 자랑합니다. Hugging Face의
LLM 모델:
- YanOljA의 EEVE-Korean: 한국어 데이터셋으로 훈련된 모델로, 현재 한국어 LLM 중에서 높은 평가를 받고 있습니다. 이 모델은 Hugging Face에서도 활용 가능합니다. EEVE-Korean 모델 문서를 참고하셔서 활용해 보시기 바랍니다.
- YanOljA의 EEVE-Korean: 한국어 데이터셋으로 훈련된 모델로, 현재 한국어 LLM 중에서 높은 평가를 받고 있습니다. 이 모델은 Hugging Face에서도 활용 가능합니다. EEVE-Korean 모델 문서를 참고하셔서 활용해 보시기 바랍니다.
4090 GPU는 대형 모델을 구동하는 데 적합하지만, 모델의 크기와 최적화 여부에 따라 성능에 차이가 있을 수 있음을 유의하시기 바랍니다. 위 모델들은 일반적으로 한국어 처리에 뛰어난 성능을 보이나, 프로젝트에 맞는 최적의 설정을 찾기 위해 몇 가지 실험이 필요할 수 있습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
매번 빠른 답변 감사합니다.