인프런 커뮤니티 질문&답변
작성한 질문수
ollama(llama3.1)을 사용했을때 답변 생성 이슈
해결된 질문
24.08.30 17:38 작성
·
87
0
안녕하세요,
우선 좋은 강의 제작해주셔서 감사합니다.
저는 오픈소스 모델을 활용하여 사내에서 구동되는 어플리케이션을 만드는게 목표여서 ollama를 통해 llama3.1 모델로 실습을 진행하고 있는데요,
RAG를 구성한 뒤 테스트 시 llama3.1이 답변을 제대로 못하고 있는데, 어떤 부분이 문제인지 잘 모르겠습니다.
한국어라서 성능에 문제가 있는건가 싶었는데 huggingface의 Meta-Llama-3.1-8B-Instruct로 한국어로 된 프롬프트를 다양하게 테스트 했을때는 성능이 괜찮았습니다.
llm을 ChatUpstage로만 바꿨을때는 응답이 제대로 나오고 있어서 RAG 구성에 문제가 있을 가능성도 낮아보입니다.
응답 전문은 아래와 같습니다.
제가 봤을때는 답변이 생성된게 아니라 관련 데이터를 그냥 리턴해주고 있는 것 같습니다.
{'query': '연봉 5천만원인 직장인의 소득세는 얼마인가요?',
'result': '기장세액공제와 관련된 장부 및 증명서류를 해당 과세표준확정신고기간 종료일부터 5년간 보관하지 아니한 경우. 다만, 천재지변 등 대통령령으로 정하는 부득이한 사유에 해당하는 경우에는 그러하지 아니하다.'}
{'query': '연봉 5천만원인 직장인의 소득세는 얼마인가요?',
'result': '[전문개정 2009. 12. 31.]\n\n\n\n① 종합소득과세표준에 다음의 세율을 적용하여 계산한 금액으로 한다.\n\n② 제1항에서 “종합소득와세표준”이란, 그 해의 세액표준에서 공제되는 자금과 기타공제하는 자금(해당 연도 법률에 정함)에 해당하는 소득과세표준을 말한다. <개정 2009. 12. 31., 2016. 12. 20., 2017. 12. 19., 2020. 12. 29., 2022. 12. 31.> \n\n③ “공제하는 자금”이란, 공제대상자에 해당하는 사람(그 배우자를 포함한다)의 생계를 같이 하는 사람에게 지급되는 연금 또는 공제대상부양가족, 공제대상장애인, 공제대상경로우대자의 부양비 또는 공제대상공로인, 공제대상국외거주자에 해당하는 사람의 거주비, 공제대상국외거주자의 배우자에게 지급되는 거주비(이하 “공제대상부양가족과 같은 공제대상자”라 한다) 또는 공제대상자(그 배우자를 포함한다)의 비유가족에 해당하는 사람의 생계를 같이 하는 사람으로서, 국외거주자의 자산으로부터 지급되는 돈에 한하여 공제하고 있는 것으로 추정되거나, 국외거주자의 가구원 중에서 공제대상자가 아닌 자산으로부터 지급하는 돈에 한하여 공제하는 경우를 말한다. 다만, 상기 각 공제할 사항과 같은 공제가 국세청장이 정한 금액을 초과하지 아니하고 과세표준 확정신고자에게서 받는 경우에는 이에 관계하지 아니하다.<개정 2014. 1. 1., 2016. 12. 20., 2017. 12. 19., 2020. 12. 29., 2022. 12. 31.> \n\n④ “공제하는 자금”의 범위와 방법은 「국세기본법」 제44조에 따른 국세청장이 정한다.<개정 2014. 1. 1., 2016. 12. 20., 2017. 12. 19., 2020. 12. 29., 2022. 12. 31.> \n\n⑤ “공제대상자”는, 「국세기본법」 제44조에 따른 국세청장이 정한 금액을 초과하지 아니하고 공제하는 자금이 있다면 그 사람으로 한다.<개정 2014. 1. 1., 2016. 12. 20., 2017. 12. 19., 2020. 12. 29., 2022. 12. 31.> \n\n⑥ “공제대상자” 중 거주자의 부양가족 중 거주자(그 배우자를 포함한다)의 직계존속이 주거 형편에 따라 별거하고 있는 경우에는 제50조에서 규정하는 생계를 같이 하는 사람으로 본다.\n\n⑦ 제50조, 제51조 및 제59조의2에 따른 공제대상 배우자, 공제대상 부양가족, 공제대상 장애인 또는 공제대상 경로우대자에 해당하는지 여부의 판정은 해당 과세기간의 과세기간 종료일 현재의 상황에 따른다. 다만, 과세기간 종료일 전에 사망한 사람 또는 장애가 치유된 사람에 대해서는 사망일 전날 또는 치유일 전날의 상황에 따른다.<개정 2014. 1. 1., 2016. 12. 20., 2017. 12. 19., 2020. 12. 29., 2022. 12. 31.> \n\n⑧ 제50조제1항제3호 및 제59조의2에 따라 적용대상 나이가 정해진 경우에는 제4항 본문에도 불구하고 해당 과세기간의 과세기간 중에 해당 나이에 해당되는 날이 있는 경우에 공제대상자로 본다.<개정 2014. 1. 1., 2016. 12. 20., 2017. 12. 19., 2020. 12. 29., 2022. 12. 31.> \n\n⑨ “공제대상자”의 범위와 방법은 「국세기본법」 제44조에 따른 국세청장이 정한다.<개정 2014. 1. 1., 2016. 12. 20., 2017. 12. 19., 2020. 12. 29., 2022. 12. 31.> \n\n[더보기]'}
추가로 확인이 필요한 사항이 있다면 말씀주시면 공유드리겠습니다!
확인 부탁드립니다.
감사합니다.
답변 1
0
2024. 08. 30. 18:57
안녕하세요!
메타 공식문서에 ollama에 있는 모델은 4-bit로 양자화됐다고 나와있는 걸 보면 Ollama에 있는 모델이 hugging face에 있는 모델보다 더 작은 것 같아요. 그래서 답변의 결과가 다른 것 같습니다.
Next, we will make sure that we can test run Meta Llama 3 models on Ollama. Please note that Ollama provides Meta Llama models in the 4-bit quantized format. To test run the model, let’s open our terminal, and run ollama pull llama3 to download the 4-bit quantized Meta Llama 3 8B chat model, with a size of about 4.7 GB.Llama3.1 release note라고 볼 수 있는 글에는 8bit로 양자화 했다고 되어있어요
To support large-scale production inference for a model at the scale of the 405B, we quantized our models from 16-bit (BF16) to 8-bit (FP8) numerics, effectively lowering the compute requirements needed and allowing the model to run within a single server node.그런데 llama3.1이 공식적으로 한국어를 지원하지 않기 때문에, 우리말로 서비스를 운영하신다면 테스트를 많이 해보셔야 할 것 같습니다. 오픈소스 활용하실거면 한국어 모델 benchmark를 활용하시는게 낫지 않을까 생각합니다!