인프런 영문 브랜드 로고
인프런 영문 브랜드 로고

인프런 커뮤니티 질문&답변

강민구님의 프로필 이미지

작성한 질문수

AI 에이전트로 구현하는 RAG 시스템(w. LangGraph)

마무리하며

향후 로컬LLM을 사용하는 강의가 나올 수 있을까요?

작성

·

93

0

커머셜이나 금융 얘기해주셨는데

전자는 권리 문제 후자는 보안문제때문에

강의에 사용된 openAI 모델은 사용하기 힘듭니다.

양쪽 문제를 해결할 수 있는게 로컬AI라고 생각하는데요. 현재는 LLAMA3이 나와있고, LLAMA4가 상반기에 출시된다고 들었는데 해당 70b~8b 모델 정도로 실무에 적용가능한 현실적인 강의도 있을 수 있는지 궁금합니다.

답변 1

1

판다스 스튜디오님의 프로필 이미지
판다스 스튜디오
지식공유자

안녕하세요. 좋은 의견 감사합니다.

영어를 사용한다면 로컬 LLM으로 충분한 성능을 낼 수 있으나, 한국어에 대해서는 작년 하반기까지도 일반 노트북에서 괜찮은 성능(속도, 품질)을 보여주는 모델이 거의 없었습니다. LLAMA3도 한국어를 공식 지원하고 있지는 않습니다.

따라서, 일반 노트북으로 실습하는 분들을 대상으로 로컬 LLM 기반 RAG나 높은 수준의 추론을 요구하는 Task에 적용하기는 부담스러운 상황이라고 판단하고 있습니다.

최근 출시되는 모델에 대해서 어느 정도 성능 검증이 되면, 오픈소스 기반의 강의를 준비할 수 있을 것 같습니다.

 

감사합니다.