Rag 모델

프로젝트로 배우는 Python 챗봇 & RAG - LangChain, Gradio 활용

Chroma DB를 활용하여 PDF 파일에 대해 RAG 기반 질의응답 구현 (실습)

작성

331

강사님 궁금한게 있습니다. PDF 문서 파일 말고 일반적인 데이터 프레임형태의 데이터나 DB 테이블 데이터도 Rag를 활용해 챗봇 구현 가능할까요?

챗봇 gradio chatgpt llm langchain openai-api

답변 2

동휘김

질문자

음 그렇다면 csv 나 데이터프레임형태의 데이터를 pdf로 내부코드에서 변환하고 이를 split해서 벡터스토어 저장 등의 프로세스로 진행해도 같은 결과일까요??

판다스 스튜디오

지식공유자

네~ 테이블 구조 인식은 제가 중점으로 연구하고 있는 주제입니다. 생각보다 테이블 구조 인식이 쉽지 않습니다. 예를 들면, 열 순서가 바뀌어도 인식률에 차이가 있습니다.

랭체인의 DataFrameLoader와 SQLDatabaseLoader를 이용해서 로드하는 방식을 추천드립니다.

동휘김

질문자

감사합니다 강사님~!

판다스 스튜디오

지식공유자

데이터프레임이나 DB테이블과 같은 정형 데이터의 경우도 RAG 구현이 가능합니다.

다만, LLM이 테이블 구조를 인식하는데 약간 제약이 있는 것 같습니다. 행 구조를 인식하는 것은 비교적 잘 처리하고 있으나, 열 구조를 인식하는 능력은 상대적으로 부족한 것으로 알려져 있습니다.

테이블 구조를 어떻게 프롬프트에 반영하느냐에 따라 모델 성능이 달라질 수 있습니다.

좋은 질문 감사합니다.

인프런 커뮤니티 질문&답변

Rag 모델