인프런 커뮤니티 질문&답변

arokim37님의 프로필 이미지

작성한 질문수

최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지

'어텐션 기법 - 키, 쿼리, 밸류는 무엇인가?' 강의에서 (QK^T)

23.01.23 20:56 작성

·

559

1

안녕하세요!

'어텐션 기법 - 키, 쿼리, 밸류는 무엇인가?' 강의에서 (QK^T)쿼리와 키 transpose한 것이 어떻게 쿼리와 키의 유사도를 나타내는지 잘 이해가 가지 않습니다.

답변 1

1

딥러닝호형님의 프로필 이미지
딥러닝호형
지식공유자

2023. 01. 24. 02:35

안녕하세요.

좋은 질문 감사합니다.

데이터에 대한 유사도를 계산하는 방법이 여러 가지가 있는데 그 중에 내적을 이용한 계산법이 있습니다. 이 때 두 데이터 x, y의 내적을 xy^T 형태로 표현할 수 있는데요.

이와 같은 형태로 QK^T가 수학적으로 내적을 표현한다고 보시면 됩니다 :)

 

감사합니다.

 

arokim37님의 프로필 이미지

작성한 질문수

질문하기