ViT 모델 구현 코드에서 질문이 있습니다

강의 자료에 나와있는 수식은 Multi-Head가 아닌 Single-Head의 경우를 표현한 것으로 알면 될까요? 그런데 코드에서는 Multi-head 계산 후 permute으로 다시 num*heads, head_dim 4차원으로 나눠주는데 그러면 scale은 Dh로 적용해야되는 것이 아닌가요?

patch 이미지 imshow 부분에 대해서 질문이 있습니다

제공해주신 코드는 patch_size가 8인데, 실험하시기를 4로 하신 것 같네요

patchdata.py에서 make_weights 함수 질문이 있습니다

또 궁금한 점이 아래는 구글 어느 한 블로그를 퍼온건데, 제 생각과 동일한 부분이 있기는 합니다 클래스에 따른 가중치를 구한 다음에 이를 전체 Label에 적용할 때 Label에 대한 순서를 유지해줘야 되지 않나요? 현재 코드는 해당 리스트만큼 구해서 바로 extend 시키는 코드인 것 같아서요 (사진)

WeightedRandomSampler 질문이 있습니다

기존에 7:3 비율을 가지는 갯수의 데이터셋이 존재한다면 배치에서도 7:3으로 동일하게 나올 수 있게 하는 장치인가요? 뽑을 확률을 동일하게 가져갔을 때 문제가 데이터 갯수 불균형이 일어나면, 중복되게 뽑아야하는 경우가 나오지 않나요?

attention 기법 관련 질문입니다

감사합니다~