RNN 가중치 w,u,l shape 질문

실전 인공지능으로 이어지는 딥러닝 개념 잡기

순환 신경망(Recurrent Neural Networks)

작성

304

수정됨

안녕하세요 선생님 RNN에 대한 알고리즘을 공부하다가 가중치의 shape를 보면서 이해가 가지 않아서 질문을 드립니다

a(t)안에 있는 원소들의 shape들이 달라도 weight를 통해서 n*1의 형태로 만드는 것은 이해를 했는데

input과 ,h(t-1)의 행이 다른 이유는 무엇인가요?

행이 달라도 되는 이유가

I work at Google라고 할때

I, work (t시점이 work일때)

i, work의 글자 수의 차이 때문에 이렇게 행이 다른건가요?

감사합니다

머신러닝 딥러닝 인공신경망

답변 1

딥러닝호형

지식공유자

안녕하세요.

말씀하신 부분은 이해하신게 맞습니다 :) 관계식에 의해서 Ux가 크기 n x 1이고 Wh의 크기가 n x 1이므로 b+Wh+Ux 계산이 가능하여 a도 n x 1이 나오게 됩니다. 물론 여기서 b도 n x 1입니다.

행(?)이 달라도 되는 이유를 질문 주셨는데 h(t)의 길이를 의미하는 것인가요? h의 길이는 목적에 따라 다르며 h의 길이에 상관없이 many to one이나 one to many와 같이 아웃풋 길이를 정하실 수 있습니다. 그리고 임배딩할 때 글자 수와 관계없이 각 단어마다 하나의 벡터로 임배딩 됩니다.

예) I -> (1,0,0,0,....,0), work -> (0,0,1,0,....,0), .....

감사합니다!!

엽강통강

질문자

안녕하세요 선생님 추가적인 질문이 있습니다 선생님 강의하신 lstm 모형에서 unit = 64라고 하면 선생님이 보여주는 lstm 모형이 64개가 있다고 생각해야 하는건가요??? (lstm모형들이 64개가 붙어 있는건가요?)

감사합니다

딥러닝호형

지식공유자

LSTM 강의의 3:12분쯤 나오는 파란 네모 박스가 64개가 됩니다! RNN, LSTM, GRU는 내부 계산이 다를뿐이지 큰 구조는 모두 동일합니다.

인프런 커뮤니티 질문&답변

RNN 가중치 w,u,l shape 질문