LLM 모델의 Tool calling 성능비교 결과 문의

안녕하세요. 판다스 스튜디오입니다. (1) gpt-4o-2024-05-13와 (2) claude-3-7-sonnet-20250219 모두 도구 호출 기능을 지원합니다. 실행 결과만 보면 성능에 큰 차이는 없어 보입니다. 전자는 OpenAI, 후자는 Anthropic에서 제공하고 있고 공급자에 따라 구현에 조금 차이가 있습니다. 두 모델 모두 비슷한 성능으로 알려져 있으나, 프롬프트와 상황에 따라 실제 성능에는 차이가 있을 수 밖에 없습니다. 모델 성능에 대한 평가 과정이 반드시 필요한 이유입니다.

이전 대화 내용 기억하기

안녕하세요. 판다스 스튜디오입니다. 아래 2개의 링크를 참고하시면 됩니다. 랭체인 구버전(0.2): https://inf.run/hSejf랭체인 신버전(0.3): https://inf.run/1HCfK버전 0.3 문서에는 랭그래프 메모리 기능을 중심으로 설명하고 있습니다. 구 버전의 RunnableWithMessageHistory를 우선 살펴보시고 구현하시면 좋을 것 같아요. 구현해보시고 궁금한 점이 있으면 말씀해주세요. 감사합니다!

re-rank score 관련 아래 질문입니다.

아래 질문에 답변을 드렸습니다. 감사합니다!

ㄱ

안녕하세요. 판다스 스튜디오입니다. LLMListwiseRerank를 사용하면, 관련성 기준으로 순위에 따라 정렬하는 방식으로 작동합니다. (아래 링크 참조)https://inf.run/5eeJZ이 코드를 기반으로 관련성(relevance)을 평가하는 reranker의 프롬프트를 수정해서, 관련성 점수를 함께 출력하고 이를 기준으로 정렬하도록 코드를 수정해서 적용해야 할 것 같습니다. LLMListwiseRerank 클래스를 상속받아서, 커스텀 클래스를 만들면 될 것 같습니다. 감사합니다!

faiss-gpu 설치법 질문입니다.

실습환경에서 poetry 사용하시는지 conda 사용하시는지 알려주세요.

향후 로컬LLM을 사용하는 강의가 나올 수 있을까요?

안녕하세요. 좋은 의견 감사합니다. 영어를 사용한다면 로컬 LLM으로 충분한 성능을 낼 수 있으나, 한국어에 대해서는 작년 하반기까지도 일반 노트북에서 괜찮은 성능(속도, 품질)을 보여주는 모델이 거의 없었습니다. LLAMA3도 한국어를 공식 지원하고 있지는 않습니다. 따라서, 일반 노트북으로 실습하는 분들을 대상으로 로컬 LLM 기반 RAG나 높은 수준의 추론을 요구하는 Task에 적용하기는 부담스러운 상황이라고 판단하고 있습니다. 최근 출시되는 모델에 대해서 어느 정도 성능 검증이 되면, 오픈소스 기반의 강의를 준비할 수 있을 것 같습니다. 감사합니다.

실습 환경을 google colab + 파이토치로도 가능한가요?

안녕하세요. 판다스 스튜디오입니다. Colab에서 실습하시는 것보다는 로컬 환경에 별도의 가상환경(conda, poetry 등)에서 하시는 것을 추천드립니다. 거의 대부분 API 호출을 하는 방식으로 동작하기 때문에, CPU 기반의 노트북에서 실습하시는데 문제가 없습니다. 감사합니다.

코드 결과값이 좀 다릅니다.

안녕하세요. 판다스 스튜디오입니다. LLM 모델은 확률적 생성 모델이기 때문에, 같은 프롬프트에 대해서도 때때로 다른 형식으로 응답할 수 있습니다. 단어가 아니라 문장이 출력되는 문제를 해결할 수 있는 방법은 여러 가지가 있습니다. 1. 프롬프트 템플릿을 더 명확하게 수정"번역한 단어만을 출력하고, 다른 설명은 하지 마세요." 와 같이 명시적으로 프롬프트를 작성하면 답변의 형식을 제어할 수 있습니다. 답변을 영어로 하는 부분도 "한국어로 답변하세요."와 같이 프롬프트에 직접 지시문을 포함하면 해결 가능합니다. 2. 모델 변경"gpt-4o-mini" 또는 "gpt-4o" 와 같은 최신 모델을 적용하면, 성능에 차이가 있어 개선될 여지가 있습니다. 3. 출력 파서 변경StrOutputParser 대신에 PydanticOutputParser를 적용하거나, 구조화된 출력(Structured Output)을 사용하는 방법이 있습니다. 구조화된 출력에 대해서는 아래 유튜브 영상을 참조해주세요. 유튜브 영상 감사합니다.

커널선택시 poetry env가 보이지 않습니다.

안녕하세요. 판다스 스튜디오입니다. 먼저 터미널에서 아래와 같이 가상환경 설치 경로를 확인합니다. poetry env info --path(사진)표시된 경로를 복사한 다음에 VS Code로 이동합니다. Python: Select Interpreter 사용: VS Code의 Command Palette (Ctrl + Shift + P)를 열고 Python: Select Interpreter를 사용합니다. 여기서 Enter interpreter path를 선택하고 복사한 경로를 붙여넣기 합니다. (사진) 이 방법으로 우선 해보세요. 계속 문제가 발생하면 다른 방법을 안내해드리겠습니다. 감사합니다.

파인튜닝 모델 사용과 결과 검증 시스템 최적 설계 방법 문의드립니다!

안녕하세요. 판다스 스튜디오입니다. 특수한 도메인에서 동작하는 번역시스템을 구상하시는 것으로 보입니다. 번역 시스템 평가하는 데 있어 크게 Reference-free 방식과 Reference-based 방식을 고려할 수 있습니다. Reference-free 방식: 원본 텍스트와 번역문만을 사용하여 평가하는 방식으로, 파인튜닝된 모델로 1차 번역을 수행한 후 더 큰 모델이 번역의 정확성, 도메인 용어의 적절성, 문맥의 자연스러움을 평가합니다. 이 방식은 구현이 단순하고 참조 데이터가 필요하지 않다는 장점이 있습니다. Reference-based 방식: 고품질 참조 번역문을 활용하여 평가하는 방식입니다. 1차 번역 결과와 참조 번역문들 간의 유사도를 계산하고, 핵심 용어 일치도, 문장 구조 유사성, 의미적 동등성 등을 평가합니다. 이 방식은 더 정확한 평가가 가능하지만 양질의 참조 데이터가 필요합니다.초기에는 참조 테스트셋을 준비하여 Reference-based 방식으로 평가를 시작하여 번역 모델의 기본적인 정확도를 확보하고, 번역 모델 추론 과정에서 충분한 데이터가 쌓이면 Reference-free 방식을 병행하는 하이브리드 접근법을 시도하는 것이 일반적입니다. 충분한 답변이 되었을지 모르겠네요. 언제든 편하게 질문 주시면 아는 범위 내에서 도움을 드리겠습니다.감사합니다.