인프런 커뮤니티 질문&답변
작성한 질문수
소프트 맥스 관련 질문드립니다.
작성
·
113
1
안녕하세요
AI 가속기 관련해 최근 연구를 시작하게 된 석사과정생입니다
강의 감사히 잘 듣고 있습니다.
다름이 아니고, 일반적으로는 matrix multiplication에 관한 가속기가 연구되는 것으로 알고 있으나
최근에 제가 진행하고 있는 연구 주제가 softmax 연산에 관한 가속기라, 이러한 연구에 관해 질문을 좀 드리고 싶습니다.
강의 중에 CNN에서는 사실상 마지막 단에서 max값만 찾아 분류를 수행하면 되기 때문에 굳이 inference시에는 softmax연산을 진행하지 않아도 된다라고 말씀해주셨습니다.
혹시 그렇다면 softmax연산을 가속하는 것 자체가 큰 contribution이 없는 연구일까요?
CNN말고 transformer에서도 Query와 Key의 유사도를 구하고 이를 가중치 값으로 쓰기 위해 softmax연산을 사용하는데, 여기서도 굳이 inference시에 softmax연산을 사용할 필요 없이, 유사도가 높은 순으로 나열하기만 하면 되는 건지 의견을 여쭙고 싶습니다.
연구를 하며 정말 많이 헤매고 있었는데,
이 분야에 대해 저와 같은 초심자도 이해하기 쉽도록 좋은 강의 제공해주셔서 정말 감사드립니다.
혹시 강의 내용과 많이 벗어나는 질문이었다면 죄송합니다 ㅠㅠ 현업자 분의 의견을 여쭙고 싶어 올리게 되었습니다.
답변 1
0
안녕하세요 🙂
결국 하고자 하는 프로젝트에 따라서 답이 달라질 것 같은데요.
softmax 연산없이도 최종 결과를 얻어낼 수 있다. 라고 하면 softmax 를 할 이유는 없겠죠.
하지만 softmax 가 꼭 필요하다면, 써야할 것 같아요.
softmax 의 경량화는 필요해보이고요.
당연히 HW 는 integer 연산을 좋아하기 때문에, softmax 를 integer 연산으로 풀어서 계산하는 것도 도움이 될 것 같긴 합니다.
즐공하세요 🙂