안녕하세요, 강의 수강 중 아무리 실행해도 결과가 영상과 동일하게 나오지 않아서 질문드립니다.  실습에 사용중인 tax.docx 파일에서 제55조의 그림으로 되어 있는 테이블을 마크다운으로 변환한 tax_with_markdown.docx로 실습 진행하고 있습니다 .강의에서 올려주신 마크다운 변환된 파일과 코드로 실행했는데, retriever.invoke(query) 결과에서 제55조가 나오지 않아서 result 값이 제대로 나오지 않습니다. 파인콘 인덱스를 삭제하고 새로 만들어도 결과는 동일하게 나옵니다. 원인이 무엇인지 알 수 있을까요? from langchain_community.document_loaders import Docx2txtLoader from langchain_text_splitters import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter( chunk_size = 1500, # 문서를 쪼갤 때, 하나의 chunk가 가질 수 있는 토큰 수 chunk_overlap = 200 # 문서를 쪼갤 떄, 중복을 허용하는 토큰 수 ) loader = Docx2txtLoader("tax_with_markdown.docx") document_list = loader.load_and_split(text_splitter=text_splitter) document_list[52] # 마크다운 부분 잘 나오는 거 확인 from dotenv import load_dotenv from langchain_openai import OpenAIEmbeddings load_dotenv() # API Key 필요 (환경 변수) embedding = OpenAIEmbeddings(model='text-embedding-3-large') import os import time from pinecone import Pinecone from langchain_pinecone import PineconeVectorStore index_name = 'tax-index-markdown' pinecone_api_key = os.environ.get("PINECONE_API_KEY") pc = Pinecone(api_key=pinecone_api_key) database = PineconeVectorStore.from_documents(document_list, index_name=index_name, embedding=embedding) query = '연봉 5천만원인 직장인의 소득세는 얼마인가요?' from langchain_openai import ChatOpenAI llm = ChatOpenAI(model='gpt-4o') from langchain import hub prompt = hub.pull("rlm/rag-prompt") from langchain.chains import RetrievalQA retriever = database.as_retriever() qa_chain = RetrievalQA.from_chain_type( llm, retriever = retriever, chain_type_kwargs = {"prompt":prompt} ) # llm 모델과 벡터데이터베이스와 프롬프트 템플릿 준다. retriever.invoke(query)

python, openai, langchain, chroma 등 강사님이 강의에서 사용하신 패키지 버전이 궁금합니다.

vscode에서 계속 같은 오류로 진행이 안돼서 구글 코랩에서 실행했더니 실행이 됩니다. 그러면 vs code에서 실행이 되게 할려면 어떤 조치를 취해야하는지 궁금합니다.

안녕하세요. 좋은 강의 감사합니다.강의를 참고하여 standalone PC(GPU 4090)에서Ollama, Langchain으로 RAG를 구성하고 테스트하고 있는데요.혹시 한글 인식이 성능이 좋은 Ollama 임베딩, LLM 모델 추천해주실 수 있을까요? 4090급 GPU를 사용하다 보니 모델 선택 범위가 제한적이네요.즐거운 하루 되세요.

ModuleNotFoundError: No module named 'chromadb'ImportError: Could not import chromadb python package. Please install it with pip install chromadb.chromadb 패키지를 설치하였는데 같은 오류가 계속 뜨고 있습니다. 버전 문제 일까요?가상환경 python:3.12.2, chromadb: 0.4.15, langchain: 0.3.4답변해주시면 정말 감사하겠습니다!

학습자료의 git을 클론했을 때 requirements.txt 파일에서 호환성 오류가 나는 것 같습니다.서로 호환되게 계속 바꿔봐도 pip check에서 오류를 내네요어떻게 수정하면 좋을까요? ㅜㅜ

스캔된 pdf가 1대1분할형식과 메타데이터가 섞여있습니다. pdf 한 페이지에 이러한 형태로 데이터가 저장되어있으면 어떻게 전처리를 해야될지 도움주시면 감사하겠습니다

  from langchain_core.output_parsers import PydanticOutputParser from langchain_core.pydantic_v1 import BaseModel, Field, validator 예제 코드에 맞춰 pydantic_v1을 사용하였지만, deprecate되었다는 경고문이 떴습니다. pydantic_v2가 나왔으니 해당 라이브러리고 교체하라는 내용이였습니다.v1을 v2로 변경해서 적용해보았지만, 빨간줄이 떴습니다. 그래서 저는 임시 방편으로 다음과 같이 코드를 수정했습니다.from pydantic import BaseModel, Field, validator0 해당 부분에 대해서 왜 deprecate가 떴는지, 그리고 왜 deprecate된 코드를 사용할 수 없는 것인지 궁금하여 질문을 남기게 되었습니다. 감사합니다.

안녕하세요 이번에 인프런 강의를 들으면서 프로젝트로 학과 정보를 소개하는 챗봇을 개발하려고 합니다. 그런데 pdf 안에 내용이 스캔되어 있어서 loader가 읽어오지 못하는데 이러한 경우에는 어떻게 해결할 수 있을지 도움주시면 감사하겠습니다.

안녕하세요. 강의 잘듣고 있는 학생입니다. 이번에 프로토콜 문서를 아래와 같이 동작시키고 있습니다.chunk_size = 10000 for i in range(0, len(document_list), chunk_size): chunk_documents = document_list[i:i + chunk_size] print(i) database = call_with_backoff( Chroma.from_documents, documents=chunk_documents, collection_name="chroma-5g", persist_directory="./chroma", embedding=embedding ) 그런데 꼭 아래 에러가 발생됩니다. --------------------------------------------------------------------------- RateLimitError Traceback (most recent call last) Cell In[1], line 13 12 try: ---> 13 return function(*args, **kwargs) 14 except openai.error.RateLimitError as e: File c:\anaconda3\envs\llm\lib\site-packages\langchain_chroma\vectorstores.py:1128, in Chroma.from_documents(cls, documents, embedding, ids, collection_name, persist_directory, client_settings, client, collection_metadata, **kwargs) 1127 metadatas = [doc.metadata for doc in documents] -> 1128 return cls.from_texts( 1129 texts=texts, 1130 embedding=embedding, 1131 metadatas=metadatas, 1132 ids=ids, 1133 collection_name=collection_name, 1134 persist_directory=persist_directory, 1135 client_settings=client_settings, 1136 client=client, 1137 collection_metadata=collection_metadata, 1138 **kwargs, 1139 ) File c:\anaconda3\envs\llm\lib\site-packages\langchain_chroma\vectorstores.py:1089, in Chroma.from_texts(cls, texts, embedding, metadatas, ids, collection_name, persist_directory, client_settings, client, collection_metadata, **kwargs) 1088 else: -> 1089 chroma_collection.add_texts(texts=texts, metadatas=metadatas, ids=ids) ... ---> 14 except openai.error.RateLimitError as e: 15 print(f"Rate limit exceeded: {e}. Retrying in 15 seconds...") 16 time.sleep(15)chunk_size 로 나누어서 입력하면 될줄알았더니만 계속 에러가 발생해서 진도가 안나가네요. ㅜㅜ 참고로 len(document_list)는 747076이네요.  해결할 방법이 있을까요?

chatgpt로 질문지 만드셨는데, metadata는 어떻게 만드셨나요?좋은 강의 감사합니다.

from langchain_chroma import Chroma # 데이터를 처음 저장할 때 database = Chroma.from_documents(documents=document_list, embedding=embedding)다음 코드를 실행시키면, File c:\Dev\inflearn-llm-application\lib\site-packages\langchain_chroma\vectorstores.py:1089, in Chroma.from_texts(cls, texts, embedding, metadatas, ids, collection_name, persist_directory, client_settings, client, collection_metadata, **kwargs) 1083 chroma_collection.add_texts(...--> 571 raise ValueError( 572 f"Batch size {len(batch[0])} exceeds maximum batch size {limits['max_batch_size']}" 573 ) ValueError: Batch size 218 exceeds maximum batch size 166다음과 같은 error가 발생합니다.이후 다음과 같이 batch size를 줄여서 실행시키면from langchain_chroma import Chroma # 배치 크기 설정 batch_size = 166 # 문서 리스트를 배치 크기만큼 나누어 처리 for i in range(0, len(document_list), batch_size): batch_documents = document_list[i:i + batch_size] database = Chroma.from_documents(documents=batch_documents, embedding=embedding) 다음과 같은 오류와 함께 커널이 종료됩니다ㅠ해결책이 있을까요?

강사님 영상 보면서 따라하고 있는데 자꾸 아래와 같은 오류가 떠서 문의드립니다.[스스로 해본 조치]폴더를 아예 새로 만들어서 처음부터 다시 만들기 -> 실패pip install onnxruntime 명령어로 설치 -> 실패VScode 여러번 껐다가 재부팅[환경]현재 PC에 깔린 python 버전 : Python 3.11.6가상 환경 설치 시 사용한 명령어 : python -m venv ./env 아래는 현재 코드이고 pip install 명령어는 강의 그대로 따라 했습니다.database = Chroma.from_documents(documents=document_list, embedding=embedding) -> 해당 부분 실행 시 오류가 발생합니다. from langchain_community.document_loaders import Docx2txtLoader from langchain_text_splitters import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter( chunk_size=1500, chunk_overlap=200 ) loader = Docx2txtLoader("./tax.docx") document_list = loader.load_and_split(text_splitter=text_splitter) ================ 다른 셀 ================ from dotenv import load_dotenv from langchain_openai import OpenAIEmbeddings load_dotenv() embedding = OpenAIEmbeddings(model="text-embedding-3-large") ================ 다른 셀 ================ from langchain_chroma import Chroma database = Chroma.from_documents(documents=document_list, embedding=embedding)

안녕하세요, 판다스님강의를 보면서 실습 중 에러가 발생해서 문의드립니다.실습파일은 LangChain_003_Data_Processing.ipynb 입니다.2.4 CSV 문서에서 오류가 발생했습니다.에러 코드는 UnicodeDecodeError: 'cp949' codec can't decode byte 0xed in position 62: illegal multibyte sequence 입니다.혹시, 해결방법을 알고 계세요??

해당 코드를 입력하려고 하면 아래와 같이 에러가뜨면서 안됩니다.UnauthorizedException: (401) Reason: Unauthorized HTTP response headers: HTTPHeaderDict({'x-pinecone-api-version': '2024-07', 'X-Cloud-Trace-Context': 'd7645f84f8507a4f73471e43f8baec5a', 'Date': 'Wed, 02 Oct 2024 08:45:53 GMT', 'Content-Type': 'text/html', 'Server': 'Google Frontend', 'Content-Length': '15', 'Via': '1.1 google', 'Alt-Svc': 'h3=":443"; ma=2592000,h3-29=":443"; ma=2592000'}) HTTP response body: Invalid API Key

이 강의를 보며 공부하면서 따라하다가 궁금해졌습니다.streamlit을 사용하는 분도 있는데 gradio를 사용하시는 이유가 궁금합니다.그리고 streamlit과 gradio의 차이를 아신다면 알려주시겠습니까?

안녕하세요 강사님답변의 정확성을 높이기 위해 upstage에서 temperature를 사용 해보았는데요.3~4번 까지 질문의 대답을 잘해주다가 그 후에는 답변에 무한핑으로 "답변을 생성중입니다"가 계속 나오고 있습니다! 기다려보면 토큰 수 초과라고 오류가 나오는데,, temperature 옵션을 넣어주고 나서 토큰 수 초과 오류가 계속 나오고 있습니다. 원인이 무엇일까요???def get_llm(model_name='solar-1-mini-chat', temperature=0.3): llm = ChatUpstage(model_name=model_name, temperature=temperature) return llm

스크롤이 일어 날 때 마다 화면이 다 뭉게지는게 너무 심해요. 2,3 강은 거의 보기 힘든 수준이고 다른 강의는 그나마 나은 수준입니다. 

안녕하세요, 비개발자로 streamlit 부분까지 따라왔는데 막혀버렸습니다 ^^;streamlit import가 되지 않아서 문의드립니다. 콘솔창에서 hello streamlit 입력했을 때 정상적으로 브라우저에 뜨는 것을 확인했는데, 아래처럼 VScode에서는 import가 되지 않습니다. 혹시 가상환경에 문제가 있는걸까요? inflearn-llm-application 가상환경에서 mkdir로 inflearn-streamlit을 만들었고 아래처럼 inflearn-streamlit 을 activate 한 상황입니다. 확인 부탁드리겠습니다! 감사합니다.   

안녕하세요 강사님 질문이 있는데,문서 20개 정도를 Pinecone에 등록한다고 할 때 인덱스 하나에 모두 등록하시나요?? 인덱스 하나에서 답변을 찾는게 정확성이 좀 떨어지는거 같은 느낌이들어서요~!많은 문서에서 보다 정확한 답변을 얻으려면 좋은 방법이 있을까요??