인프런 커뮤니티 질문&답변

arokim37님의 프로필 이미지

작성한 질문수

최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지

비전 트랜스포머 - 최신 모델' 강의에서 B*N*K 와 1*K*D 를 연산

23.01.24 11:30 작성

·

323

·

수정됨

1

안녕하세요! 항상 좋은 강의 해주셔서 감사드립니다.


'비전 트랜스포머 - 최신 모델' 강의에서 B*N*K 와 1*K*D 를 연산하면 B*N*D 가 된다고 하셨는데 어떤 연산을 통해서 어떻게 B*N*D로 변환되는지 궁금합니다. 그냥 B*N*K에서 단순히 K의 형태를 바꾸는 연산만 하면 안되는 건가요?? 어떤 원리로 연산을 통해 변환이 되는 건지 궁금해서 질문 드립니다.

그리고 연산에서 R^N*D 에서 기호 R은 무엇을 뜻하는지 궁금합니다.

감사합니다.

답변 1

1

딥러닝호형님의 프로필 이미지
딥러닝호형
지식공유자

2023. 01. 25. 13:49

안녕하세요.

파이토치 nn.linear는 3차원 데이터에 대한 연산(배치 매트릭스 곱)을 할 수 있습니다. 각 배치 B개에 대한 N*K K*D 매트릭스 곱을 해주어 B*N*D라는 결과가 나오게 됩니다.

그리고 굵은R을 말씀하시는거죠? 실수 집합을 의미합니다. 즉, 해당 값이 크기가 ND이고 실수라는 의미입니다.

 

감사합니다.

arokim37님의 프로필 이미지

작성한 질문수

질문하기