해결됨
최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
Key query value관련 질문
안녕하세요 강사님. 비전 트랜스포머를 열심히 듣고 있는 학생입니다.
보통 키, 쿼리 밸류하면 어떤 임베딩된 입력을
키에 따로, 쿼리 따로 밸류 따로 linear연산을 수행을 하고
쿼리와 키를 내적을 하는 걸로 알고 있습니다.
여기서 궁금한 점이 있는데
키 쿼리 밸류 별로 linear(선형 연산)연산을 왜 하는지 궁금하게 되었습니다.
패치(이미지)에서 feature을 더 잘 뽑으려고 하는 것인가요?
