묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결
트랜스포머 모델 언어 변경
안녕하세요!영어로 학습된 모델을 한글로 파인튜닝 시킬 수 있을까요?현재 영어로 된 그림을 텍스트로 변환하는 (비전) 트랜스포머 모델이 있습니다. 이 모델의 기능을 똑같이 한국어에서도 작동되게 모델을 파인튜닝 시키려고 하는데 가능한 작업일까요?생각해 본 방법은 먼저 모델에 한국어 토큰들을 추가한 후 한국어 그림 -> 텍스트 데이터셋으로 학습을 시키는 것인데 다른 방법들이 있는지도 궁금합니다!혹시 이런 상황 경험 있으신 분이나 다른 조언들도 감사히 받겠습니다.
-
해결됨최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
Key query value관련 질문
안녕하세요 강사님. 비전 트랜스포머를 열심히 듣고 있는 학생입니다. 보통 키, 쿼리 밸류하면 어떤 임베딩된 입력을 키에 따로, 쿼리 따로 밸류 따로 linear연산을 수행을 하고 쿼리와 키를 내적을 하는 걸로 알고 있습니다. 여기서 궁금한 점이 있는데 키 쿼리 밸류 별로 linear(선형 연산)연산을 왜 하는지 궁금하게 되었습니다. 패치(이미지)에서 feature을 더 잘 뽑으려고 하는 것인가요?