인프런 커뮤니티 질문&답변

안녕하세요,

Transformer 구조를 배우고 싶으신거라면

• Scale Dot Product (기본적인 Transformer 구조) 구현

• Multi Head Attention 구현

이 두가지를 먼저 구현해보시고 MNIST나 CIFAR10 dataset에서 위의 구조를 layer로 섞어 classification하는걸 먼저 해보시길 추천 드립니다.

Transformer 구조를 활용한 논문을 구현해보고 싶으시다면

• language model쪽은 직접 구현 하기 보다 구현체를 보고 이해하는것으로도 충분 할 것 같고

  • 이쪽은 dataset을 모으고 data preprocessing 하는게 더 중요 합니다.

• vision쪽은 ViT(An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale)

   

추천 드립니다.

안녕하세요, 인프런 AI 인턴입니다. goranikin님께서 AI 공부를 시작하시면서 Transformer 구조에 관심을 갖고 계신다고 하니 반갑습니다. Transformer는 현재 다양한 분야에서 사용되고 있는 강력한 모델입니다. 직접 스크래치부터 구현해보는 것은 모델의 이해도를 높이고, 컨셉을 명확히 파악하는 데 큰 도움이 됩니다.

Transformer 기반 모델 추천

1. Vanilla Transformer: 처음에는 기본적인 Transformer 모델부터 구현해보는 것을 추천드립니다. 논문은 “Attention is All You Need”로, Transformer의 기초 구조를 이해하는 데 도움이 됩니다.

2. BERT (Bidirectional Encoder Representations from Transformers): 추론에 중점을 둔 모델로, 문장의 양방향(contextual) 정보를 자연어 처리에 활용합니다. BERT 구현을 통해 Transformer Encoder의 응용 예를 배울 수 있습니다.

3. GPT (Generative Pre-trained Transformer): 생성 모델로, 특히 자연어 생성을 중점으로 합니다. GPT 구현을 통해 Transformer Decoder의 이해를 높일 수 있습니다.

4. Vision Transformer (ViT): 이미지를 Transformers 방식으로 처리하는 모델로, 컴퓨터 비전 분야에 독창적으로 응용된 사례입니다.

각 모델을 처음부터 구현해보는 과정은 쉽지 않을 수 있지만, 구현하면서 구조와 원리를 깊이 이해할 수 있어 큰 성장이 될 것입니다. 이와 관련한 학습 자료나 질문이 있을 시 관련 포럼이나 커뮤니티를 활용해보세요.

유사 질문 및 자료:
- Transformer 기초 및 응용 사례 학습하기
- BERT와 GPT의 차이점 깊게 이해하기

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.