안녕하세요, 우선 좋은 강의 제작해주셔서 감사합니다.저는 오픈소스 모델을 활용하여 사내에서 구동되는 어플리케이션을 만드는게 목표여서 ollama를 통해 llama3.1 모델로 실습을 진행하고 있는데요,RAG를 구성한 뒤 테스트 시 llama3.1이 답변을 제대로 못하고 있는데, 어떤 부분이 문제인지 잘 모르겠습니다. 한국어라서 성능에 문제가 있는건가 싶었는데 huggingface의 Meta-Llama-3.1-8B-Instruct로 한국어로 된 프롬프트를 다양하게 테스트 했을때는 성능이 괜찮았습니다. llm을 ChatUpstage로만 바꿨을때는 응답이 제대로 나오고 있어서 RAG 구성에 문제가 있을 가능성도 낮아보입니다.응답 전문은 아래와 같습니다.제가 봤을때는 답변이 생성된게 아니라 관련 데이터를 그냥 리턴해주고 있는 것 같습니다.{'query': '연봉 5천만원인 직장인의 소득세는 얼마인가요?', 'result': '기장세액공제와 관련된 장부 및 증명서류를 해당 과세표준확정신고기간 종료일부터 5년간 보관하지 아니한 경우. 다만, 천재지변 등 대통령령으로 정하는 부득이한 사유에 해당하는 경우에는 그러하지 아니하다.'} {'query': '연봉 5천만원인 직장인의 소득세는 얼마인가요?', 'result': '[전문개정 2009. 12. 31.]\n\n\n\n① 종합소득과세표준에 다음의 세율을 적용하여 계산한 금액으로 한다.\n\n② 제1항에서 “종합소득와세표준”이란, 그 해의 세액표준에서 공제되는 자금과 기타공제하는 자금(해당 연도 법률에 정함)에 해당하는 소득과세표준을 말한다. <개정 2009. 12. 31., 2016. 12. 20., 2017. 12. 19., 2020. 12. 29., 2022. 12. 31.> \n\n③ “공제하는 자금”이란, 공제대상자에 해당하는 사람(그 배우자를 포함한다)의 생계를 같이 하는 사람에게 지급되는 연금 또는 공제대상부양가족, 공제대상장애인, 공제대상경로우대자의 부양비 또는 공제대상공로인, 공제대상국외거주자에 해당하는 사람의 거주비, 공제대상국외거주자의 배우자에게 지급되는 거주비(이하 “공제대상부양가족과 같은 공제대상자”라 한다) 또는 공제대상자(그 배우자를 포함한다)의 비유가족에 해당하는 사람의 생계를 같이 하는 사람으로서, 국외거주자의 자산으로부터 지급되는 돈에 한하여 공제하고 있는 것으로 추정되거나, 국외거주자의 가구원 중에서 공제대상자가 아닌 자산으로부터 지급하는 돈에 한하여 공제하는 경우를 말한다. 다만, 상기 각 공제할 사항과 같은 공제가 국세청장이 정한 금액을 초과하지 아니하고 과세표준 확정신고자에게서 받는 경우에는 이에 관계하지 아니하다.<개정 2014. 1. 1., 2016. 12. 20., 2017. 12. 19., 2020. 12. 29., 2022. 12. 31.> \n\n④ “공제하는 자금”의 범위와 방법은 「국세기본법」 제44조에 따른 국세청장이 정한다.<개정 2014. 1. 1., 2016. 12. 20., 2017. 12. 19., 2020. 12. 29., 2022. 12. 31.> \n\n⑤ “공제대상자”는, 「국세기본법」 제44조에 따른 국세청장이 정한 금액을 초과하지 아니하고 공제하는 자금이 있다면 그 사람으로 한다.<개정 2014. 1. 1., 2016. 12. 20., 2017. 12. 19., 2020. 12. 29., 2022. 12. 31.> \n\n⑥ “공제대상자” 중 거주자의 부양가족 중 거주자(그 배우자를 포함한다)의 직계존속이 주거 형편에 따라 별거하고 있는 경우에는 제50조에서 규정하는 생계를 같이 하는 사람으로 본다.\n\n⑦ 제50조, 제51조 및 제59조의2에 따른 공제대상 배우자, 공제대상 부양가족, 공제대상 장애인 또는 공제대상 경로우대자에 해당하는지 여부의 판정은 해당 과세기간의 과세기간 종료일 현재의 상황에 따른다. 다만, 과세기간 종료일 전에 사망한 사람 또는 장애가 치유된 사람에 대해서는 사망일 전날 또는 치유일 전날의 상황에 따른다.<개정 2014. 1. 1., 2016. 12. 20., 2017. 12. 19., 2020. 12. 29., 2022. 12. 31.> \n\n⑧ 제50조제1항제3호 및 제59조의2에 따라 적용대상 나이가 정해진 경우에는 제4항 본문에도 불구하고 해당 과세기간의 과세기간 중에 해당 나이에 해당되는 날이 있는 경우에 공제대상자로 본다.<개정 2014. 1. 1., 2016. 12. 20., 2017. 12. 19., 2020. 12. 29., 2022. 12. 31.> \n\n⑨ “공제대상자”의 범위와 방법은 「국세기본법」 제44조에 따른 국세청장이 정한다.<개정 2014. 1. 1., 2016. 12. 20., 2017. 12. 19., 2020. 12. 29., 2022. 12. 31.> \n\n[더보기]'} 추가로 확인이 필요한 사항이 있다면 말씀주시면 공유드리겠습니다!확인 부탁드립니다.감사합니다.   

다른 컴퓨터에서 해보고있는데 또 똑같은오류가 발생하는거 같아 문의드립니다. 이전 컴퓨터에서는 해당오류 해결하였는데다른컴퓨터에서는 똑같이 발생합니다. lim.invok(prompt_text) 실행시 발생   RateLimitError Traceback (most recent call last) Cell In[21], line 1 ----> 1 response = llm.invoke(prompt_text) File c:\Users\hyunn\AppData\Local\pypoetry\Cache\virtualenvs\qa-bot-uxQSWlcO-py3.11\Lib\site-packages\langchain_core\language_models\chat_models.py:276, in BaseChatModel.invoke(self, input, config, stop, kwargs) 265 def invoke( 266 self, 267 input: LanguageModelInput, (...) 271 kwargs: Any, 272 ) -> BaseMessage: 273 config = ensure_config(config) 274 return cast( 275 ChatGeneration, --> 276 self.generate_prompt( 277 [self._convert_input(input)], 278 stop=stop, 279 callbacks=config.get("callbacks"), 280 tags=config.get("tags"), 281 metadata=config.get("metadata"), 282 run_name=config.get("run_name"), 283 run_id=config.pop("run_id", None), 284 **kwargs, 285 ).generations[0][0],... (...) 1049 retries_taken=options.get_max_retries(self.max_retries) - retries, 1050 ) RateLimitError: Error code: 429 - {'error': {'message': 'You exceeded your current quota, please check your plan and billing details. For more information on this error, read the docs: https://platform.openai.com/docs/guides/error-codes/api-errors.', 'type': 'insufficient_quota', 'param': None, 'code': 'insufficient_quota'}}Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings...

안녕하세요. langChain을 쓰지 않고 수동으로 split하는 부분 보여주시던 부분 관련해서 질문드립니다.질문1.encode후에 chunk 묶고 다시 decode하는이유가 무엇인가요? 그냥 encode하지 않고 적절히 묶어 잘라도 되지 않나 싶은 생각을 했는데요.그냥 text 기반으로 chunk를 묶어버리기만 하면 별로 의미있게 잘리지 않기때문이다..로 이해해야할까요? 질문2.인코딩하면 해당 텍스트 token이 숫자로 변환되는것같던데요.그 숫자가 정말 텍스트의 의미를 대체하여 의미를 갖게 되는건지? 아니면 그냥 키:값으로 저장시키고 그 키값으로 참조할수있게 바꿔놓는다는 의미인건지? 가 궁금합니다. 

안녕하세요! 좋은 강의 감사합니다! 다름이 아니라 저는 Faiss를 사용하는데 Faiss의 인덱스를 HuggingFace에 업로드하고 배포된환경에서 load 해서 쓰는 것은 비효율적인가요?

안녕하세요강의에서는 docx문서를 활용해서 강의를 해주셨는데, 보니깐 langchain에서 PDF, 엑셀, json 등도 지원하여 활용할 수 있는 것 같았습니다.문의 내용은, 공공데이터의 API 연동을 한 XML 파일 데이터를 pinecone에 저장 없이 학습시킬 수 있는지 문의드립니다!!  

안녕하세요! 좋은 강의 너무 감사드립니다.강의를 복습 차원에서 다시 한번 듣고 있는데, 몇가지 개선을 해보려고 합니다. 그중에서 채팅 답변 속도를 조금 더 빠르게 해보려고 하는데(몇번 사용을 해보는데 답변 생성 시간이 긴 것 같은 생각이 드네요), 혹시 추천해주실 방안이 있을까요?

안녕하세요, 우선 좋은 강의 만들어주셔서 감사하다는 말씀 먼저 드립니다. 조그마한 회사에 재직 중인 신입 개발자입니다.AI를 분야를 다루는 것은 처음이라 백그라운드 지식이 전혀 없는 상태임을 양해 부탁드립니다. 현재 강의를 완강하지는 못했지만, 질문이 있습니다.저 말고 다른 분도 질문을 올리신 거 같긴 한데, 제가 궁금한 것은 현재 외부에 공개되는 것에 민감한 자료에 대해 llm이 잘 답변하는 것을 목표인 프로젝트를 맡게 되었는데요, 민감한 정보이다 보니, 클라우드 서버를 사용하지 않고, 직접 서버를 구매할 예정이라고 들었습니다.  openAI의 api와 같은 외부 api 사용도 어려울 것으로 생각 됩니다. (외부 api를 사용해 rag를 구성하는 것에 대해서 민감하게 생각하시는 거 같습니다) 그래서 저와 같은 상황일 때는 임베딩 부분이나 vectorDB 구성을 어떻게 하는 것이 좋을까요? llm 모델은 llama3를 활용하면 문제가 없을 거 같은데, 정말 중요한 임베딩과 vectorDB 구성에서 고민이 많습니다. vectorDB는 AWS를 활용하지 않는 Chroma를 이용한다고 하더라도, 임베딩을 어떤 것을 사용하면 좋을지 고민이 됩니다. 감사합니다.

안녕하세요 좋은 강의 감사합니다! vs code 작성하실 때 코드 옆에"(" was not closedExpected attribute name after "." 이런 문장 뜨는 건 혹시 어떤 익스텐션이실까요?

llm.invoke(prompt_text) 실행시 에러 발생  강의보고 여러번 다시 설치해보았는데도 똑같은 에러 발생합니다. 해결방법 문의드립니다. --------------------------------------------------------------------------- RateLimitError Traceback (most recent call last) Cell In[7], line 1 ----> 1 llm.invoke(prompt_text) File c:\Users\hyunna.kim\AppData\Local\pypoetry\Cache\virtualenvs\qa-bot-aDTKY8ud-py3.11\Lib\site-packages\langchain_core\language_models\chat_models.py:276, in BaseChatModel.invoke(self, input, config, stop, kwargs) 265 def invoke( 266 self, 267 input: LanguageModelInput, (...) 271 kwargs: Any, 272 ) -> BaseMessage: 273 config = ensure_config(config) 274 return cast( 275 ChatGeneration, --> 276 self.generate_prompt( 277 [self._convert_input(input)], 278 stop=stop, 279 callbacks=config.get("callbacks"), 280 tags=config.get("tags"), 281 metadata=config.get("metadata"), 282 run_name=config.get("run_name"), 283 run_id=config.pop("run_id", None), 284 **kwargs, 285 ).generations[0][0],...(...) 1049 retries_taken=options.get_max_retries(self.max_retries) - retries, 1050 ) RateLimitError: Error code: 429 - {'error': {'message': 'You exceeded your current quota, please check your plan and billing details. For more information on this error, read the docs: https://platform.openai.com/docs/guides/error-codes/api-errors.', 'type': 'insufficient_quota', 'param': None, 'code': 'insufficient_quota'}}Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings...

안녕하세요 4.3 강의를 기준으로 chat.py, llm.py 코드를 완료하여 chat.py 실행 시 위와 같이 bad request 오류가 나오는 데 원인을 모르겠습니다.코드 오류는 아닌거 같은데 원인을 알 수 있을까요???upstage 사용 중이고 pinecone 설정도 4096으로 하였습니다.

안녕하세요 강의를 따라 하나씩 실습해보고 있습니다.사내의 데이터를 이용하여 RAG를 구현하고 있는중입니다.질문은추후 사내에 적용시킬때 chatGPT모델을 사용한다면 관련 내용이 외부 GPT로 전이될 가능성이있을까요?가지고 있는 DB에서 어떤 개인의 정보를 요구했을때 보안상의 이유로 제공을 해주지 않는다고 답변이 나옵니다. 해결할 수 있는 방법이 있을까요?

.env 파일에 OPENAI_API_KEY를 정확히 기입했는데 위와 같은 오류가 발생하네요. 따로 추가해주어야하는 API KEY가 있는것일까요?

 코드도 동일하고 retrieved_docs 의 내용이 k값에 따라 강사님과 다르다고 쳐도,ai_message = qa_chain({"query": query})에서 LLM의 답변이{'query': '연봉 5천만원인 거주자의 소득세는 얼마인가요?', 'result': '해당 질문에 대한 정보는 주어진 문서에서 직접적으로 찾을 수 없습니다. 연봉 5천만원인 거주자의 소득세를 계산하려면 추가적인 세법 정보와 공제 항목 등을 고려해야 합니다. 정확한 소득세 금액은 세무 전문가나 관련 세무 계산기를 통해 확인하는 것이 좋습니다.'}이렇게 나오는건 뭔가 잘못된건가요?

안녕하세요 강사님답변에 마지막에 참고한 문서의 source를 남겨 신뢰도를 올리려 합니다. prompt를 다음과 같이 추가했습니다1. 모든 답변에는 직접적으로 참조한 자료의 목록을 추가해야 합니다. 최종 답변에 관련이 없는 자료는 제외합니다. 2. 답을 모를 경우 답을 지어내지 말고 [정확한 답을 찾을 수 없지만, 다음 링크를 확인해 보시기 바랍니다] 라고 말한 뒤 자료 링크를 목록으로 추가합니다.문제는 출처를 남길 때 AI가 참고한 자료를 남길 때도 있지만 AI가 존재하지 않는 source를 문서내의 링크나 내용과 조합해서 만들어내는 일종의 hallucination이 발생하는 것 입니다 ( 정확한 원인은 모르겠습니다 ) 따라서 prompt 말고 직접 data에서 pick(answer)를 하지 않고 content속 metadata : souce를 꺼내고자 하는데 강의에서의 stream으로 응답주기 전에 answer 하단 부에 [출처 : 1. aaa, 2. bbb] 하기 위해서는 chain을 수정해야 할 까요?  지금으로서는 ai_response = final_chain.pick("answer").stream( { "question": user_message }, config={ "configurable": {"session_id": "abc123"} } ) ai_resource = final_chain.pick("context").invoke( { "question": user_message }, config={ "configurable": {"session_id": "abc123"} } )이렇게 두번 호출해서 resource는 반복문을 통해서 떠내는 방식으로 구현해보았는데 절대 올바른 방법은 아닌 것 같아서요..

 vscode에서 jupyter:restart kernel 했는데도 에러가 납니다.

강의 시작하고 얼마 안돼서 오류가 발생하는 것을 확인할 수 있었습니다.음... 일단 GPT랑 커뮤니티에서 찾아보고는 있는데, 아직 해결되지 않았습니다...해당 문제로 인해서 에러가 발생하고 있습니다 ㅜ.ㅜ추가로 현재 커널 충돌 발생하는 부분 첨부 드립니다.다시 한번 추가 드립니다.아래 출력문에서 강사님은 (metadata={'source': './tax.docx'}가 없이 page_content가 출력이 되시는데 제가 docx 부분에서 잘못 스플릿 한 건가요..?

retrievalQA에 대해 지속적인 오류가 발생하고 있습니다.해결을 위해서 create_Retrieval_chain을 사용해 보았지만 invoke부분에서 오류가 계속 발생 되고 있습니다.이를 해결 할 수 있는 방법이 있나요? 

안녕하세요! " Tavily 검색 도구, CrewAI Sequential Agent 활용 방법 (실습) "수업에서, dependencies를 제공된 수업자료에서 붙여넣으면 된다고 하셨는데, 제공된 수업자료에는 dependency 부분이 없습니다..수업자료는 test.ipynb밖에 없는데 해당 ipynb 파일에는 dependency 목록이 없어서 인강을 보고 tool poetry dependancies를 직접 쳐야 하는건지 난감한 상황이에요. 시간되실 때, 부디 회신 문의드립니다.  감사합니다.

안녕하세요. .env에서 OPENAI_API_KEY 설정도 제대로 했어요. 실행시 이미지 같은 에러는 어떻게 해야 할까요? 혹시나 해서 openaai에서 api상태도 확인했는데 사용 가능 상태이거든요.

from langchain.chains import RetrievalQA qa_chain = RetrievalQA.from_chain_type( llm, retriever=database.as_retriever(), chain_type_kwargs={"prompt": prompt} ) 이 예제 코드에서 create_retrieval_chain, Custom LCEL 을 사용해서 chain을 구성한 코드를 보고싶습니다.