인프런 커뮤니티 질문&답변
작성한 질문수
성능 개선 방법
해결된 질문
24.08.26 15:48 작성
·
157
1
안녕하세요! 좋은 강의 너무 감사드립니다.
강의를 복습 차원에서 다시 한번 듣고 있는데, 몇가지 개선을 해보려고 합니다. 그중에서 채팅 답변 속도를 조금 더 빠르게 해보려고 하는데(몇번 사용을 해보는데 답변 생성 시간이 긴 것 같은 생각이 드네요), 혹시 추천해주실 방안이 있을까요?
답변 1
0
2024. 08. 26. 18:17
좋은 질문 감사합니다! 답변 속도를 빠르게 하려면 사용하는 토큰의 수를 줄이는 것이 제일 좋은 방법입니다.
Text splitting을 할 때 chunk의 사이즈를 줄인다거나
Retrieval로 가져오는 chunk의 수를 줄인다거나 (다만 chunk의 수를 줄이려면 retrieval 효율이 상당히 개선 되어야겠죠)
프롬프트를 더 짧게 수정하는 방법이 있습니다
그렇지 못한 경우에는 caching을 하는 방법이 있습니다 기존에 사용자가 질의한 내역이 있거나 다른 사용자가 유사한 답변을 한 이력이 있다면 굳이 LLM이 답변을 생성하지 않고 예전에 생성했던 답변을 리턴하는 방식입니다 자세한 방식은 공식문서를 참고해주세요!
https://python.langchain.com/v0.1/docs/modules/model_io/llms/llm_caching/
복습을 하시면 버전 업데이트나 법령 문서 수정 등으로 인해 처음 수강하셨을 때와 달리 에러가 발생할 수도 있어요. 에러는 제보해주시면 최대한 빠른 시일 내에 다시 녹화-편집해서 올려드리겠습니다. 감사합니다!