인프런 커뮤니티 질문&답변

Deokbae Kwak님의 프로필 이미지
Deokbae Kwak

작성한 질문수

딥러닝을 활용한 자연어 처리 (NLP) 과정 (기초부터 ChatGPT/생성 모델까지)

실습 - Transformer 번역기 분석 - Part2

트랜스포머 실습 파일 실행 시 에러가 발생합니다.

작성

·

332

0

130_Transformer.ipynb를 코랩 환경에서 실행하는데 25번째 코드 셸을 실행하면 에러가 발생합니다.

위의 모든 코드 셸을 실행한 뒤에 다음 코드를 실행하면

ValueError: Exception encountered when calling PositionalEmbedding.call().Invalid dtype: <property object at 0x7d6f6aff73d0> Arguments received by PositionalEmbedding.call(): • x=tf.Tensor(shape=(64, 110), dtype=int64)

이런 에러가 발생합니다. 어디가 문제이며 어떻게 해결을 해야 할까요?


 

# 포르투갈어와 영어를 위한 위치 인코딩 임베딩 레이어 생성
embed_pt = PositionalEmbedding(vocab_size=tokenizers.pt.get_vocab_size(), d_model=512)
embed_en = PositionalEmbedding(vocab_size=tokenizers.en.get_vocab_size(), d_model=512)

# 포르투갈어 입력에 대한 임베딩 적용
pt_emb = embed_pt(pt)

# 영어 입력에 대한 임베딩 적용
en_emb = embed_en(en)

답변 1

0

YoungJea Oh님의 프로필 이미지
YoungJea Oh
지식공유자

현재 Google Tutorial Source 에 bug 가 발생한 것 같습니다. 130_Transformers는 Google Tutorial 에 있는 https://www.tensorflow.org/text/tutorials/transformer 를 한국어로 번역하고 제 나름의 설명을 추가한 것인데 위 link의 Google site 의 원본 자체에서도 Colab에서 실행하니 아래와 같이 동일한 error 가 발생하고 있네요. Google 에서 조만간 fix 할 것으로 생각하지만 일단 저 나름으로도 에러를 피해가는 방법을 연구해서 알려 드리겠습니다. 불편을 드려 죄송합니다.

image

Deokbae Kwak님의 프로필 이미지
Deokbae Kwak

작성한 질문수

질문하기