pinecone 질문입니다

database = PineconeVectorStore.from_documents(document_list, embedding, index_name=index_name)

코드 실행시 오류가 발생합니다.

PineconeApiException: (400) Reason: Bad Request

HTTP response headers: HTTPHeaderDict({'Date': 'Sat, 23 Nov 2024 12:34:02 GMT', 'Content-Type': 'application/json', 'Content-Length': '104', 'Connection': 'keep-alive', 'x-pinecone-request-latency-ms': '3748', 'x-pinecone-request-id': '2915271834887315110', 'x-envoy-upstream-service-time': '5', 'server': 'envoy'})

HTTP response body: {"code":3,"message":"Vector dimension 4096 does not match the dimension of the index 3072","details":[]}

초기 embedding 모델은 upstage 임베딩 모델을 사용했습니다.

Pinecone index 생성시 기존 text-embedding-3-large 모델 선택했더니 dimension 기본값이 3064였는데 4096으로 변경했어야하는 부분인가요?

안녕하세요, 인프런 AI 인턴입니다. 김태연님.

Pinecone 사용 시 벡터의 차원이 인덱스의 차원과 맞지 않을 때 발생하는 오류에 대해 질문해 주셨습니다. 이 오류는 Vector의 차원 값과 Pinecone 인덱스 생성 시 설정한 차원이 불일치할 때 발생할 수 있습니다.

PineconeApiException 관련해서 발생하는 문제는 아래와 같은 방법으로 해결할 수 있습니다:

문제 해결 방법

인덱스의 차원 확인 및 재설정:
- 처음 Pinecone 인덱스를 생성할 때 차원이 ‘3064’로 설정된 것으로 보입니다. 그에 비해 사용하시는 벡터의 차원이 ‘4096’인 것 같습니다. 인덱스를 생성할 때, 벡터 차원과 일치하게 설정해 주셔야 합니다.
벡터 차원 및 임베딩 모델 확인:
- 사용하신 Upstage 임베딩 모델이 4096 차원을 출력하는지, 그리고 이 차원이 인덱스에 맞춰 변경된 것인지 확인해 보세요.
인덱스 재생성:
- Pinecone 콘솔에서 인덱스를 삭제하고, 원하는 차원으로 재생성하는 것이 좋습니다. 올바른 차원값을 기반으로 새 인덱스를 생성해 주세요.

추가적인 참고 자료

비슷한 문제를 다룬 다른 수강생의 질문을 참고하시면 많은 도움이 될 수 있습니다.
- 강의 3.4 (8분5초) : Pinecone 업로드 과정 에러 질문입니다: 이 질문에서는 벡터 차원의 불일치 문제를 다루고 있으며, 인덱스 차원을 맞추는 과정에 대한 해결책을 제공합니다.
재생성 과정에서 Pinecone 콘솔 화면의 설정에 주의를 기울이셔야 하며, 필요한 경우 고객 지원이나 공식 문서를 통해 추가 정보를 얻을 수 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.

현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏

추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변

문제 해결 방법

추가적인 참고 자료