인프런 커뮤니티 질문&답변
작성한 질문수
LangSmith로 평가시 0, 1 점수 대신 더 세분화된(예: 5단계) 점수 사용
해결된 질문
24.08.06 20:23 작성
·
96
0
오늘 라이브 강의 잘 들었습니다! 고맙습니다.
LangSmith에서 rag-answer-vs-reference로 평가하는데 각 항목의 점수가 0,1로만 나와서 아쉽네요. 더 세분화된(예: 5단계) 점수로 평가하려면 어떻게 바꿔야 할지 궁금합니다. 그리고 실제로 사용하실 때 몇 단계 평가를 많이 쓰시나요?
답변 1
1
강병진
지식공유자
2024. 08. 07. 09:04
안녕하세요! 라이브에 참여해주셔서 감사합니다. 말씀하신 rag-answer-vs-reference 의 프롬프트를 LangSmith Hub에서 확인하실 수 있는데요, 프롬프트를 보시면 Score를 0이나 1로 리턴하도록 되어있습니다.
Score:
A score of 1 means that the student's answer meets all of the criteria. This is the highest (best) score.
A score of 0 means that the student's answer does not meet all of the criteria. This is the lowest possible score you can give.여기서 score를 1-5 스케일로 수정해주시면 될 것 같아요!
2024. 08. 07. 09:05
프롬프트 작성은 허깅페이스 블로그를 참고하시면 될 것 같습니다!