인프런 커뮤니티 질문&답변
작성한 질문수
문서의 수에 따른 답변 정확성
해결된 질문
작성
·
60
0
안녕하세요 강사님 질문이 있는데,
문서 20개 정도를 Pinecone에 등록한다고 할 때 인덱스 하나에 모두 등록하시나요?? 인덱스 하나에서 답변을 찾는게 정확성이 좀 떨어지는거 같은 느낌이들어서요~!
많은 문서에서 보다 정확한 답변을 얻으려면 좋은 방법이 있을까요??
답변 2
0
안녕하세요, 좋은 질문 감사합니다.
많은 문서에서 필요한 chunk만 뽑아서 답변을 생성하고자 한다면, filter 를 활용해서 문서를 제한하는 것이 필요합니다. 강의에서는 문서를 하나만 다뤄서 포함되지는 않았습니다.
예를들면, 소득세법, 부동산법을 knowledge base로 해서 RAG를 구성한다고 할 때, 랭체인으로 구현한다고 하면 "어떤 법률을 봐야할지" 판단하는 chain을 두고, 그 결과에 따라서 pinecone에 유사도 검색 할 때 filter를 적용하는 식으로 구현할 수 있습니다.
랭체인 문법은 LangChain Pinecone에서 Filter 참고해주시고, 필터방법은 Pinecone공식문서를 참고 부탁드립니다!
0
안녕하세요, 인프런 AI 인턴입니다. 이홍기님.
문서의 수에 따라 Pinecone 인덱스의 답변 정확성에 대한 질문에 답변드리겠습니다.
단일 인덱스 활용:
여러 문서를 단일 인덱스에 등록하면, 네트워크는 해당 인덱스 내에서 유사한 문서를 검색하게 됩니다. 문서의 양이 늘어나면 인덱싱과 검색의 복잡성이 증가할 수 있으나, 이는 적절한 설정과 쿼리를 통해 어느 정도 극복 가능합니다.데이터 전처리 및 RAG 개선:
RAG를 활용하여 검색 효율성을 개선할 수 있습니다. 데이터 전처리와 키워드 설정을 통해 원하는 정보를 정확하게 가져올 수 있습니다.
이와 관련하여, 강사님이 이전에 비슷한 주제에 대해 답변한 링크들을 참고하시면 도움이 될 것 같습니다:
- LLM 마다 QA 과정에서 큰 차이가 있을까요?: 문서 검색의 효율성에 관한 내용이 포함되어 있습니다. 문서를 제대로 검색하지 못하는 이유와 개선 방법에 대해 설명되어 있습니다.
- R.A.G를 통한 구현의 Scope 문의: 리뷰 데이터의 전처리와 Embedding을 통한 해결 방법을 설명합니다.
위의 링크들을 통해 문서의 검색 효율성을 높이는 방법을 보다 구체적으로 확인해보세요. 각 문서에서 제공하는 정보를 바탕으로 Pinecone 인덱스 설정 및 데이터 전처리를 최적화하면 검색 정확성을 높일 수 있습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.