API와 DB연결

안녕하세요. 확인이 늦어 죄송합니다.저도 AI의 의견과 비슷합니다. 강의 내 해당 CORS 오류 해결을 위한 내용까지도 포함되어있는데, 혹시 해당 내용 모두 시도해봤는데도 안되는건지 재확인 부탁드려도 될까요?

400 연결 오류

안녕하세요. 혹시 wjdehdgud12346@gmail.com 으로 메일 주신게 맞으실까요? 제 메일함에 보내주신 메일이 없어 연락 드립니다 ㅠㅠ 제가 밖이라서 저녁쯤에 확인이 가능할 듯 합니다.

pub/sub 연결하기 문의

안녕하세요! 추가적인 응답이 없으셔서 질문 해결 상태로 변경합니다. 아직 오류 발생하시는 상황이시라면 댓글 혹은 남겨둔 이메일을 통해 편하게 연락주세요!

pub/sub 연결하기 문의

favicon에러는 강의를 따라하여 Blob Storage 배포시 기본적으로 발생하는 오류가 맞습니다. favicon.ico는 브라우저 탭에 뜨는 아이콘 파일을 의미합니다. 해당 파일을 업로드 하지 않아 발생하는 문제이고, 강의에서는 업로드한적이 없으므로 발생해야하는 오류가 맞습니다. 하지만 404가 아닌 400으로 뜨는게 이상하고.. 또한 해당 오류가 발생하더라도 웹소켓 관련 연결 코드를 작성했을 경우 연결이 정상적으로 되어야합니다. 만약 작성하셨다면 해당 오류가 발생하는건 명백히 이상합니다 ㅠㅠ.. 업로드하신 프론트 파일과 주소를 wjdehdgud12346@gmail.com 으로 전달주실 수 있을까요? 보내주신 내용만으로는 해결이 어려워보입니다 ㅠㅠ...(보안을 위해 댓글로 요청드리는게 아닌 메일로 요청드리는 것입니다!! 연결문자열이 노출되면 안되니까요!)

프런트와 Pub/Sub연결하기 문의

안녕하세요! 답변이 늦어 죄송합니다 ㅠㅠ제가 예상하는 문제점은 다음과 같습니다.hub가 한국어인 경우, 메세지 전송에 실패할 수 있습니다.Azure Portal에서 생성하는 웹소켓 연결 URL의 경우, 유효기간이 존재하여 해당 유효기간을 넘은 경우 URL이 동작하지 않을 수 있습니다.이 이외의 경우 말씀주신 내용으로는 디버깅이 어려워 보입니다 ㅠㅠ 아직 해결 못하셨다면, 프론트 코드 전문과 Azure Portal 리소스의 웹소켓 클라이언트 URL 생성기에서 "토큰 수명(분)" 옵션을 "1440분" 으로 세팅한 연결 URL을 wjdehdgud12346@gmail.com 제 메일로 보내주시면 확인드리겠습니다. 다시 한번 답변이 늦어 죄송합니다.

나만의 Azure OpenAI service (gpt-4o) 구성하기

두 가지 방법이 있을 듯 합니다. Fine-Tuning 및 LLM 학습을 통해 해결한다.이 경우 난이도도 높고, 학습 데이터 셋도 필요하고.. 학습을 시키더라도 학습이 잘 되었는지 검증이 필요합니다. 가능할지언정, 현실적으로 개인 프로젝트 레벨에서 진행하기엔 무리가 있다고 생각됩니다. 프롬프트 엔지니어링을 통해 해결한다."OpenAI 연동하기" 강의의 14분쯤에 나오는 내용을 참조해주시면 될 듯 합니다. 해당 강의에는 "질문에 대해 한국어로 대답해" 라고 시스템 프롬프팅이 되어있지만, 질문해주신 내용을 수행하기 위해서는 다음과 같이 프롬프트를 적용해볼 수 있을 듯 합니다.전달받은 이미지 파일에 대해 다음 요구 조건이 만족되었는지 확인하고, 만족되지 않은 요구사항을 출력 해. 1. 이미지의 해상도가 ~~~x~~~인가? 2. 페이지 내 설명이 들어가있는가? 3. ~~~~등으로 시스템 프롬프트를 세팅하시고, 프롬프트 엔지니어링을 통해 말씀하신 내용을 수행하는게 현실적인 대안이라 생각합니다. 이 프롬프트 엔지니어링에는 많은 튜토리얼들이 존재하고, 흔히 "GPT 제대로 다루기" 같은 강의들이 이 프롬프트 엔지니어링을 잘하기 위한 강의들입니다. 영어로 질문한다거나, 목적을 맨 마지막에 말한다거나, 더 상세하게 말한다거나.. 이런 프롬프트 엔지니어링을 잘하기 위한 여러 팁들이 존재하니 따로 찾아보시면 좋을 것 같습니다. 디자인 파일을 JPG혹은 PNG등의 사진 파일로 변환한 뒤, 해당 이미지 파일을 GPT-4o에게 읽게 하는게 현실적인 대안이라 생각되는데, 현재 강의에서는 파일 입출력을 다루지 않아 해당 내용에 대해서는 개인적으로 학습하셔야합니다 ㅠㅠ; (후속강의를 준비중이나 아직 출시까지 시간이 많이 남았습니다..)또한, 강의는 "나만의 GPT 만들기" 에 초점이 맞춰져있는게 아닌 "Azure 학습하기"에 초점이 좀 더 맞춰져있으므로 Azure를 학습하기 위해 일부러 좀 더 복잡한 아키텍처가 적용되어있습니다.말씀하신 내용만 구축한다면, Azure Function을 3개로 구축하는게 아닌 하나로 구축하는게 좋아보입니다. 하지만, 어떠한 방법으로 해결하든 Hallucination 문제는 무조건 발생합니다. Hallucation(환각) 문제란 존재하지 않는 정보를 질문했을 때 GPT가 추측해서 답변하는 문제입니다. 따라서 100% 자동화는 어려울 수 있으며, 최종적으로 사람의 눈으로 확인은 필요합니다.또한, 대부분의 GPT에 해당되는 내용인데, 일단 질문을 해봐야 퀄리티를 확인할 수 있습니다.요구사항이 너무 복잡해서 GPT가 이해하기 어려울 수도 있고, 혹은 GPT-4o의 이미지 이해율이 생각보다 떨어질수도 있습니다. 결론적으로.. 요구사항이 굉장히 복잡하여 시스템 프롬프트에 다 담아내지 못할 수 있으나, 요구사항 중 놓치기 쉬운 요구사항 혹은 중요한 요구사항만 수동으로 추출하여 시스템 프롬프트에 담아낸 뒤, 100% 자동화보다는 업무 반자동화 툴 정도로 사용하는게 좋을 것 같습니다.

Azure Function 파일 이름 규칙 문의

넵 맞습니다.https://learn.microsoft.com/ko-kr/azure/azure-functions/functions-reference-python?tabs=asgi%2Capplication-level&pivots=python-mode-decorators Azure Functions의 메인 파일은 function_app.py 파일로 구성되며, 여러 파일로 분기처리가 필요할 경우 해당 문서 참조하셔서 Azure Functions V2의 BluePrint 기능을 구현하거나, FastAPI의 경우 FastAPI의 Route 분기처리만 구현해도 됩니다.

Azure Function Deploy 실패

ㅠㅠ... 저도 Azure Functions을 이용해 개발중이지만, Output에 Deploy에 실패하는 이유를 좀 자세히 적어줬으면 좋겠습니다....Deloyment Failed가 발생할 경우.. 제 경험에 의존한 바로는 다음과 같은 원인이 있습니다. 1. requirements.txt에 필요한 의존성이 빠져있을 경우 2. Azure Functions 리소스에 필요한 환경변수가 빠져있을 경우 3. 배포 대상이 될 Azure Function이 실행중인지 확인 (실행중이여야 함) 4. 그냥 VSCode 재시작 5. 재시도하면 해결되는 경우 6. 1~4까지 했을때도 안됐을 경우, 코드를 롤백해가면서 재배포 진행한 뒤, 실패하는 곳을 찾아서 디버깅...다음과 같은 방식으로 해결했는데, 완전한 해결책을 드리지 못해 죄송합니다..Deployment Failed가 발생했을 때, 확실한 로그를 찾는 방법을 알아와서 다시 답변 드리겠습니다. 혹시나 해결 된 경우 답글 부탁드립니다.

SLM을 이용한 사내 전용 AI

안녕하세요. 강의를 제작하게 된 정동형 입니다. 먼저, 저는 AI 엔지니어가 아니라 LLM을 활용하여 서버 개발을 진행하고 있는 백엔드 엔지니어입니다. 따라서 답변이 정확하지 않을 수 있고, 주관적인 내용이라는 점을 말씀드리고 싶습니다.또한, 개발자가 아니라고 하시니 여러 질문으로 나눠서, 최대한 쉽게 설명드려보겠습니다. Q. ChatGPT가 제 질문을 학습해 다른 곳에 활용할 수 있나요? 이것 때문에 LLM 대신 SLM을 사용하고 싶습니다.A. Platform OpenAI 공식 문서 Azure OpenAI 공식 문서Platform OpenAI와 Azure OpenAI의 공식문서 링크를 전달드립니다.(사진)요약하자면, ChatGPT의 경우 개인 사용자에 대해 모델 학습을 진행하고, 설정 - 모델 개선 옵션에서 해당 옵션을 종료함으로써 학습에 사용되지 않도록 설정할 수 있습니다.또한, ChatGPT Team, ChatGPT Enterprise 및 Platform OpenAI API 로 사용할 경우 모델 학습에 사용되지 않습니다.Azure OpenAI의 경우, 사용자의 모든 데이터를 학습, 개선, OpenAI를 제외한 타사 제품 또는 Microsoft 서비스의 개선에 전혀 사용되지 않습니다.따라서, tk.lee님께서 질문주신 "ChatGPT가 가이드라인을 학습할 것 같아 LLM 대신 SLM을 사용하고 싶다."는 크게 걱정하지 않으셔도 된다고 생각하며, "자원 효율성 및 속도를 위해 SLM을 사용하고 싶다." 혹은 "더 완벽한 보안을 위해 내부서버에 SLM을 띄워놓고 사용하고싶다."가 맞다고 생각합니다. Q. PDF 요약을 위한 SLM을 찾는 방법A. Hugging Face - Models다음 사이트는 Hugging Face라는, 여러 LLM 및 SLM이 공개되어있는 오픈소스 사이트입니다.해당 사이트 내에서 왼쪽의 "Document Question Answering" 을 선택하면, 그에 해당하는 Model이 표시됩니다.하지만, PDF를 직접적으로 요약해주는 Model은 거의 존재하지 않으며, 이미지 인식 SLM이 대부분입니다. 따라서, 해당 오픈소스 모델들을 사용하기 위해서는 대부분 PDF를 이미지로 변환한 뒤, 이미지를 인식시켜서 요약하는 방식으로 동작시켜야 합니다.따라서 저는 Azure OpenAI 및 ChatGPT API를 권장드리고 싶습니다. 사용이 간단할 뿐 더러, Azure OpenAI는 당연하고, ChatGPT API의 경우에도 사용자의 파일 및 데이터를 모델의 학습을 위해 사용하지 않습니다. 혹여 꼭 보안을 위해 SLM을 사용해야하는 경우 더 자세한 설명을 위해 답신 부탁드립니다. Q. 그렇다면 LLM을 이용하여 한정된 분야에만 전문화되고, 사내 전용으로 보안도 확보한 상태에서 개발할 수 있는 방법에 대해 문의드리고 싶습니다.A. 기본 골자는 제 강의를 따라하시면 됩니다. 제 강의를 따라하시되, 강의에 나오는 것 처럼 Agent Function 프로젝트를 적절히 수정하여 사용할 수 있습니다.개발자가 아니라면 약간 어려울 수 있다고 생각하지만.. 열심히 설명해보겠습니다.여러 방법들을 설명 드리겠습니다. Platform OpenAI - API문서 - Storage, Platform OpenAI - API문서 - AssistantsPlatform OpenAI의 경우, tk.lee님께서 질문주신 내용을 수행하기 위해서는 Storage에 학습시킬 PDF 파일을 업로드 하고, 해당 PDF파일을 참조하는 Assistants를 만든 뒤, 해당 Assistants에게 질문하는 방식으로 동작하게 됩니다. 다음 두 문서를 적절히 참조하여 개발할 수 있습니다. 데이터에 대한 Azure OpenAI Azure AI 검색이란?이 방법은 학습시켜야 할 PDF가 많을 때 주로 사용되며, 상당히 복잡합니다.Azure OpenAI의 경우 Storage에 PDF를 다량 업로드합니다. 이후 Azure AI Search에서 해당 Storage를 참조하여 문서를 인덱싱합니다. 마지막으로, Azure AI Search에 질문을 보내는 방식으로 동작합니다.해당 방법은 저도 진행해본적이 없으며, 이론적으로만 알고있는 내용입니다 ㅠㅠ.. 정확하지 않을 수 있습니다. 그냥 PDF를 텍스트로 전처리하여 검색적절히 코드를 작성하여 PDF를 텍스트로 전환시킨 뒤, 해당 내용을 프롬프트로 던져서 검색할 수 있습니다. 제일 쉬운방법이나, 길이에 제한이 존재합니다. GPT-4o의 경우 토큰 제한이 128k입니다. 한글 1글자당 1 Token이라고 가정하면, 최대 12만 8천자의 길이를 가진 PDF까지만 학습시킬 수 있습니다. 제일 쉽지만, 제약조건이 존재합니다.이 마지막 방법의 경우 제 강의를 쭉 학습하신 뒤, 각 Function들을 파일을 받을 수 있는 형태로 수정하는 방식으로 진행할 수 있습니다. 다만, Service Bus가 기본/표준 요금제일 경우 Queue에 최대 256KB까지의 메시지만을 넣을 수 있어, 프리미엄 요금제로 전환해야할 수 있습니다.위 세 방법중 아무방법을 선택한 뒤, Azure 내 방화벽 및 AAD를 적절히 설정하여 사내 네트워크에서만 사용할 수 있도록 세팅할 수 있습니다.

SLM을 이용한 사내 전용 AI

업무시간에 답변 드리기 어려운 내용이라, 업무시간 이외 시간대에 메일 드리겠습니다.