혹시 로컬llm을 활용해서 RAG를 구현하는 예제도 한번 올려주시면 안될까요?

안녕하세요~. 반갑습니다. ChatOllama 모듈을 이용해서 llama 모델을 연동해서 RAG를 구현하는 방법을 설명한 아래 문서와 소스코드를 참조하세요.https://langchain-ai.github.io/langgraph/tutorials/rag/langgraph_adaptive_rag_local/ 혹시 [모두를 위한 대규모 언어 모델 LLM Part 5 - LangGraph로 나만의 AI 에이전트 만들기] 강의도 수강하신다면 해당 강의에서 Llama 모델을 ollama로 연동하는 방법을 설명한 [Llama 모델을 이용해서 Adaptive RAG 시스템 만들기] 강의 영상을 참조하세요. 좋은 하루되세요~.감사합니다.

STORM 아키텍쳐

안녕하세요~. 반갑습니다.먼저 수강에 불편을 드려서 죄송하고 정보 공유 감사합니다~. 다른 분들도 참조하실수 있도록 2025년 1월 16일 기준으로 최신버전에 맞게 코드를 수정한 colab 링크도 아래에 첨부합니다.https://inf.run/S2BhG 좋은 하루되세요~.감사합니다.

"Plan-and-Execute 아키텍쳐 구현하기" 강의 prompt not found error

안녕하세요~. 반갑습니다.먼저 수강에 불편을 드려서 죄송하고 정보 공유 감사합니다~. 강의 촬영시점 이후로 시간이 흘러서 hub repo의 변화로 인해 에러가 발생한 것 같습니다.말씀해주신대로 hub.pull("pollyjaky/ih-react-agent-executor")로 변경해서 사용하셔도 되고, 아니면 아래와 같이 간단하게 그냥 직접 프롬프트를 설정해주어도 됩니다.from langchain import hub from langchain_openai import ChatOpenAI from langgraph.prebuilt import create_react_agent # Get the prompt to use - you can modify this! prompt = "You are a helpful assistant." # Choose the LLM that will drive the agent llm = ChatOpenAI(model="gpt-4o") agent_executor = create_react_agent(llm, tools, state_modifier=prompt)다른 분들도 참고하실 수 있도록 위와 같이 수정된 colab 링크를 아래에 첨부합니다. https://colab.research.google.com/drive/1EKu16O8r_9PQkg3TaaglQWiQxmI8gHEa?usp=sharing 좋은 하루되세요.감사합니다.

가중치에 대한 질문

안녕하세요~. 반갑습니다.1. 이 경우에는 어떤식으로 Concat이 되나요?-> 말그대로 각 scale-dot attention에서 출력된 벡터를 그냥 이어주는 concatenation 과정이 이루어지는 것입니다. 예를 들어 설명하면 아래와 같이 head1의 출력값과 head2의 출력값이 있다고 임의 가정하면 각 헤드들의 출력값을 그냥 하나로 길게 쭉이어주는 것입니다. (실제로 원 논문에서는 8개의 헤드를 사용합니다.)head 1: [1, 2, 3]head 2: [13, 14, 15]concat → [1, 2, 3, 13, 14, 15]2. 이렇게 Concat이 되게되면 값이 증폭하는 일이 생기지 않나요>? -> 값이 증폭한다는게 무슨 뜻인지 정확히 이해하지 못했지만 2개의 값을 더해줘서 값이 +되는 것 아니냐는 의미로 질문하신것이라면 위에 설명드린것처럼 값을 +하는 것이 아니라 뒤에 이어붙이는 것이기 때문에 값의 증폭이 이루어진다고 볼수는 없습니다. 또한 복잡한 transformer 구조에서 모든 부분이 학습가능한 weight이기 때문에 값이 너무 커질것 같으면 학습과정에서 weight들이 알아서 너무 값이 커지지 않게 조정하는 방향으로 파라미터를 변경합니다.좋은 하루되세요~. 감사합니다.

open api 이용 방법

안녕하세요~. 반갑습니다.OpenAI API 키 발급 관련해서는[섹션 10. OpenAI API를 통한 GPT Fine-Tuning] - [GPT-3.5 Turbo Fine-Tuning 실습 - 기초 예제로 OpenAI API를 통한 Fine-Tuning 프로세스를 익혀보자] 영상 앞부분에서 설정하는 방법에 관한 설명영상이 있습니다. 정확한 사용요금은 아래 문서를 참조하세요.https://platform.openai.com/docs/pricing좋은 하루되세요~.감사합니다.

Llama vision 이미지 해상도

안녕하세요~. 반갑습니다. Llama 3.2 vision 모델이 인식하기 위한 최소 이미지 사이즈는 특별히 언급된 내용이 없는 것 같습니다.최대 이미지 사이즈 같은 경우 1120x1120 사이즈 까지 지원하는 것으로 알려져 있습니다. colab에서 테스트해보시기가 어려우신 환경이실 경우huggingface에 로그인하신뒤에 https://huggingface.co/meta-llama/Llama-3.2-11B-Vision-Instruct위 링크로 Llama 3.2 vision instruct 모델 페이지에 접속하시면 우측에 [Inference Providers]라고 해당 부분에 이미지를 업로드하고 원하시는 프롬프트를 입력하셔서 테스트해보실 수 있는 환경을 제공하고 있으니 해당 방법으로 테스트해보시길 추천드립니다. (사진) 좋은 하루되세요~.감사합니다.

일부 교육 동영상 재생이 안됩니다

안녕하세요~. 반갑습니다.먼저 수강에 불편을 드려서 죄송합니다. 동영상 재생 문제 관련해서는 오른쪽 하단에 [문의하기] 버튼을 눌러서 인프런 서비스지원팀에 문의해보시겠어요? 좋은 하루되세요.감사합니다.

검증 방법 질문입니다.

안녕하세요~. 반갑습니다.네. 말씀해주신 내용이 맞습니다. 전체 동작과정은 아래와 같습니다.첫번째로 유저 프롬프트가 들어오면 이를 LLM으로 SQL Query 형태로 변경합니다.두번째로 첫번째 과정에서 LLM이 생성한 SQL Query에 오류가 없는지 LLM으로 검증합니다.좋은 하루되세요~.감사합니다.

API 특정 짓는 법

안녕하세요~. 반갑습니다. 1. GPT가 질문에 대한 적절한 답변을 하기 위해서 API 호출하는 것이 어떤 원리인지 잘 모르겠습니다.->필요한 tool들을 연동하면 LLM에게 해당 tool들의 이름과 description 등이 function 형태로 넘어갑니다.LLM이 프롬프트를 분석해서 연동된 사용가능한 tool 리스트 중에서 현재 요청된 프롬프트에서 특정 tool 호출이 필요하다고 판단되면 해당 tool을 호출합니다.즉 LLM에게 사용가능한 tool들의 이름과 description 등을 전달하면 LLM이 필요한 경우 해당 tool을 사용할수 있다는 사실을 인지하고 있다가 해당 tool 사용이 필요하다고 판단되면 해당 tool을 호출하는 구조입니다.따라서 당연히 LLM이 항상 100% 정확도를 보여주는 것은 아니기 때문에 경우에 따라서는 tool 호출이 필요한 상황인데 tool 호출을 하지않거나 tool 호출이 필요하지 않은 상황인데 tool 호출을 할 수도 있습니다.OpenAI와 같이 LLM을 만드는 회사에서 GPT 모델을 Training하는 과정에서 다양한 Tool use 케이스에 대한 프롬프트 시나리오를 Training data로 모아서 GPT 모델을 학습시키게 되고, 결과적으로 학습이 끝난 GPT 모델이 Training data에 있던 Tool use 케이스들을 토대로 Tool 호출에 대한 판단능력이 생기게 되는 것입니다.2. 정해진 API 만 사용할 수 있도록 정하는 방법이 있다면 무엇인가요? (예. 기상청 데이터만 사용하고 싶을 때)->정해진 API만 강제하고 싶으실 경우(예를 들어, 기상청 데이터) 강제하고 싶은 API를 function 형태로 정의한뒤에 예제 코드에서 살펴본 것처럼 Chat Completion API 호출시의 tool_choice 부분에 function 부분에 강제하고 싶은 API를 정의한 function의 이름을 지정해주시면 됩니다.좋은 하루되세요.감사합니다.

소량의 fineTuning 이 미치는 영향

안녕하세요~. 반갑습니다.말씀해주신대로 fine-tuning 데이터를 20개만 사용할 경우 데이터가 부족한 상황으로 간주할 수 있습니다. 해당 예제는 빠른 진행을 위해서 최소한의 데이터로 fine-tuning을 진행한 것입니다. 일반적으로 권장하는 fine-tuning 데이터셋의 개수는 최소 몇백개 이상입니다. 다만 fine-tuning이라는게 수학공식처럼 이런 상황에서는 이렇게된다 이렇게 딱 정해진게 아니기 때문에 데이터 도메인이나 데이터 품질이 어떻느냐에 따라서 적절한 fine-tuning 데이터셋 개수는 상황에 따라 달라질 수 있습니다. 좋은 하루되세요.감사합니다.