인프런 커뮤니티 질문&답변

두 가지 방법이 있을 듯 합니다.

Fine-Tuning 및 LLM 학습을 통해 해결한다.

이 경우 난이도도 높고, 학습 데이터 셋도 필요하고.. 학습을 시키더라도 학습이 잘 되었는지 검증이 필요합니다. 가능할지언정, 현실적으로 개인 프로젝트 레벨에서 진행하기엔 무리가 있다고 생각됩니다.

프롬프트 엔지니어링을 통해 해결한다.

"OpenAI 연동하기" 강의의 14분쯤에 나오는 내용을 참조해주시면 될 듯 합니다. 해당 강의에는 "질문에 대해 한국어로 대답해" 라고 시스템 프롬프팅이 되어있지만, 질문해주신 내용을 수행하기 위해서는 다음과 같이 프롬프트를 적용해볼 수 있을 듯 합니다.

전달받은 이미지 파일에 대해 다음 요구 조건이 만족되었는지 확인하고, 만족되지 않은 요구사항을 출력 해.

1. 이미지의 해상도가 ~~~x~~~인가?
2. 페이지 내 설명이 들어가있는가?
3. ~~~~

등으로 시스템 프롬프트를 세팅하시고, 프롬프트 엔지니어링을 통해 말씀하신 내용을 수행하는게 현실적인 대안이라 생각합니다. 이 프롬프트 엔지니어링에는 많은 튜토리얼들이 존재하고, 흔히 "GPT 제대로 다루기" 같은 강의들이 이 프롬프트 엔지니어링을 잘하기 위한 강의들입니다. 영어로 질문한다거나, 목적을 맨 마지막에 말한다거나, 더 상세하게 말한다거나.. 이런 프롬프트 엔지니어링을 잘하기 위한 여러 팁들이 존재하니 따로 찾아보시면 좋을 것 같습니다.

디자인 파일을 JPG혹은 PNG등의 사진 파일로 변환한 뒤, 해당 이미지 파일을 GPT-4o에게 읽게 하는게 현실적인 대안이라 생각되는데, 현재 강의에서는 파일 입출력을 다루지 않아 해당 내용에 대해서는 개인적으로 학습하셔야합니다 ㅠㅠ; (후속강의를 준비중이나 아직 출시까지 시간이 많이 남았습니다..)

또한, 강의는 "나만의 GPT 만들기" 에 초점이 맞춰져있는게 아닌 "Azure 학습하기"에 초점이 좀 더 맞춰져있으므로 Azure를 학습하기 위해 일부러 좀 더 복잡한 아키텍처가 적용되어있습니다.

말씀하신 내용만 구축한다면, Azure Function을 3개로 구축하는게 아닌 하나로 구축하는게 좋아보입니다.

하지만, 어떠한 방법으로 해결하든 Hallucination 문제는 무조건 발생합니다. Hallucation(환각) 문제란 존재하지 않는 정보를 질문했을 때 GPT가 추측해서 답변하는 문제입니다. 따라서 100% 자동화는 어려울 수 있으며, 최종적으로 사람의 눈으로 확인은 필요합니다.

또한, 대부분의 GPT에 해당되는 내용인데, 일단 질문을 해봐야 퀄리티를 확인할 수 있습니다.

요구사항이 너무 복잡해서 GPT가 이해하기 어려울 수도 있고, 혹은 GPT-4o의 이미지 이해율이 생각보다 떨어질수도 있습니다.

결론적으로.. 요구사항이 굉장히 복잡하여 시스템 프롬프트에 다 담아내지 못할 수 있으나, 요구사항 중 놓치기 쉬운 요구사항 혹은 중요한 요구사항만 수동으로 추출하여 시스템 프롬프트에 담아낸 뒤, 100% 자동화보다는 업무 반자동화 툴 정도로 사용하는게 좋을 것 같습니다.

안녕하세요, 인프런 AI 인턴입니다. tk.lee 님의 질문에 대해 도움이 될만한 정보를 찾았습니다.

먼저, tk.lee 님께서는 고객 요구 사항들을 참조하여 개발된 디자인이 요구 사항을 준수하고 있는지 확인하는 AI 기능 구현에 관심이 있으신 것으로 이해됩니다. 구체적으로, 여러 형태의 문서(텍스트, 파워포인트, PDF, JPG 등)를 프롬프트에 입력하여 GPT-4o를 사용해 자동으로 미지원 항목을 체크하고자 하시는 거군요.

이러한 목표를 달성하기 위해, 고객 요구 사항을 GPT-4o에 학습시키는 방법에 대한 답변이 필요하신 것 같습니다. 현재 제공된 정보에서 직접적으로 같은 상황을 해결하는 구체적인 해결 방안을 찾지는 못했습니다. 그러나, 이와 유사한 맥락에서 조언을 줄 수 있는 일부 정보를 공유드리고자 합니다.

SLM을 이용한 사내 전용 AI 질문에서, ChatGPT와 유사한 LLM(Large Language Models) 대신 SLM(Smaller Language Models)을 이용해서 한정된 분야에 전문화되고 사내 전용으로 보안을 확보한 상태에서 개발할 수 있는 방법에 대해 문의한 상황이 있었습니다. 여기에서는 Hugging Face와 같은 오픈소스 사이트에서 여러 LLM 및 SLM이 공개되어 있는 것과 관련 문서를 참조하는 방법에 대한 안내가 있었습니다.

질문자님이 구현하고자 하시는 기능과 직접적으로 일치하는 상황은 아니지만, 이 경우에도 유사하게 고객 요구 사항과 비교 대상 문서들을 모델이 학습할 수 있는 데이터 형태로 전처리하고, 적절한 모델(여기서는 GPT-4o)과의 상호작용을 통해 요구하는 바를 충족할 수 있는 방법을 모색할 수 있을 것 같습니다.

또한, SLM 사용에 대한 고려사항과 함께, Azure OpenAI, 특히 Platform OpenAI API 사용 시, 사용자의 데이터가 모델 학습에 사용되지 않는다는 점, Azure OpenAI를 사용할 때의 데이터 학습 및 개선에 관한 정보는 해당 질문-답변에서 확인 가능하실 겁니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.