작성
·
180
1
안녕하세요 맛비님 강의 수강중 궁금한점이 생겨 질문드립니다
아직 5강까지 밖에 수강을 안해서 이후의 강의에 질문에 대한 답변이 나올 수도 있을것같아요
주로 학습은 GPU, 추론은 NPU->HW가속기 설계자는 추론을 어떻게 진행할지에 대해 고민하는 사람들이고, 알고리즘 엔지니어로부터 이미 완전히 학습된 weight, bias 등을 받고 학습 과정에는 참여하지 않는다고 이해했는데, 맞나요?
필요한 weight의 갯수가 많다면 칩에 필요한 핀의 갯수가 엄청 많아질 것 같은데, 직렬통신으로 weight를 보낸다던가 해서 핀의 갯수를 줄이는 방식이 사용되나요?
=================
현업자인지라 업무때문에 답변이 늦을 수 있습니다. (길어도 만 3일 안에는 꼭 답변드리려고 노력중입니다 ㅠㅠ)
강의에서 다룬 내용들의 질문들을 부탁드립니다!! (설치과정, 강의내용을 듣고 이해가 안되었던 부분들, 강의의 오류 등등)
이런 질문은 부담스러워요.. (답변거부해도 양해 부탁드려요)
개인 과제, 강의에서 다루지 않은 내용들의 궁금증 해소, 영상과 다른 접근방법 후 디버깅 요청, 고민 상담 등..
글쓰기 에티튜드를 지켜주세요 (저 포함, 다른 수강생 분들이 함께보는 공간입니다.)
서로 예의를 지키며 존중하는 문화를 만들어가요.
질문글을 보고 내용을 이해할 수 있도록 남겨주시면 답변에 큰 도움이 될 것 같아요. (상세히 작성하면 더 좋아요! )
먼저 유사한 질문이 있었는지 검색해보세요.
잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
==================
답변 1
0
안녕하세요 🙂
주로 학습은 GPU, 추론은 NPU->HW가속기 설계자는 추론을 어떻게 진행할지에 대해 고민하는 사람들이고, 알고리즘 엔지니어로부터 이미 완전히 학습된 weight, bias 등을 받고 학습 과정에는 참여하지 않는다고 이해했는데, 맞나요?
-> 제 경험상 HW 엔지니어는 직접 Training 하지는 않습니다. 하지만 HW 엔지니어는 학습과정에서 HW 친화적인 모델의 shape 에는 관여는 해요. (ex. layer 몇 단, kernel 수 등등). 간혹 알고리즘 엔지니어들이 터무니? 없는 Network 를 갖고오는 경우가 있어서, 연산 관련된 부분은 함께 참여한다 보시면 좋을 것 같아요.
필요한 weight의 갯수가 많다면 칩에 필요한 핀의 갯수가 엄청 많아질 것 같은데, 직렬통신으로 weight를 보낸다던가 해서 핀의 갯수를 줄이는 방식이 사용되나요?
-> weight 를 분할해서 연산할 수 있을 것 같아요. 예를들어 1024 개 weight 를 처리해야하고, 실제 연산기는 128 개 weight 처리할 수 있다 가정해면, 8 번에 나눠서 처리할 수 있겠죠? 방법은 정말 다양하고요. Architecture 적으로 해결할 것 같습니다.
즐공하세요. 🙂