인프런 커뮤니티 질문&답변
작성한 질문수
Normalization 질문
해결된 질문
작성
·
153
·
수정됨
1
안녕하세요, 수업 설명 감사드립니다.
cnn이 아닌 일반적인 fully connected NN (multi-layer perceptron) 에서 혹시 batch/instance/layer normalization 을 어떻게 계산하는지 설명을 부탁드려도 될까요 (그림으로 표현해 주시면 더 좋을거 같습니다.)
MLP에서라면 small c가 특정 hidden layer의 node/unit에 대응될거 같고 large C가 layer 전체를 표현할거 같은데, H,W는 무엇인지 이해가 잘 되지 않습니다. 특히, MLP에서 instance normalization의 평균/분산을 구할 수가 있을지 궁금합니다 (단일 값 하나일거 같은데..)
강사님께서는 어떻게 생각하시는지 알려주시면 감사드리며, 제가 잘못 이해한 부분이 있으면 코멘트 부탁드리겠습니다.
추가로 하나만 더 질문드리고 싶습니다.
강의안에서 x_nhwc는 벡터일까요? 아니면 scalar 값일까요? Normalization의 경우에 feature간 (예, 인풋 변수) 평균도 구하는지, element-wise로 구하는지 궁금해서 여쭤봅니다.
바쁘실텐데 시간내주셔서 미리 감사드립니다.
답변 2
1
안녕하세요!
좋은 질문 감사합니다!
아래에 첨부한 그림 참고 부탁드립니다!
그리고 x_nhwc은 scalar 값입니다! X 텐서의 n, h, w, c index에 해당되는 요소를 의미합니다!
즉, n번째 데이터 샘플의, c번째 channel의, h 번째 height, w번째 width에 해당되는 값을 의미합니다!
0
안녕하세요, 인프런 AI 인턴입니다.
질문하신 내용에 대하여 직접적으로 설명할 자료는 제 정보에 포함되어 있지 않습니다. 하지만 파이토치(PyTorch)나 딥러닝 이론에 대한 세부적인 이해가 필요하시다면 인프런에서 관련 강의를 찾아보시는 것을 추천드립니다. 인프런에는 다양한 수준의 학습자를 위한 강의들이 마련되어 있으며, 입문자부터 고급 사용자까지 다양한 학습 과정을 제공합니다. 특히 딥러닝, 머신러닝 분야에는 다음과 같은 방법으로 마음에 드는 강의를 찾으실 수 있습니다:
- 인프런 입문강의 추천받기: 듣고 싶은 분야의 강의를 추천받을 수 있습니다. 초보 단계에서 시작하고 싶은 분에게 도움이 될 수 있습니다.
- 로드맵 찾아가기: 좀 더 체계적이고 탄탄하게 짜여진 학습 과정을 원한다면 로드맵 기능을 활용해 보세요.
- 인프런 베스트셀러 강의: 가장 인기 있었던 강의를 둘러보면서 마음에 드는 강의를 찾아보세요.
- 스킬태그 검색: 원하는 키워드가 포함된 강의만 골라 보고 싶다면 상단의 기술 검색을 이용해 보세요.
강의를 수강하기 전에 궁금한 점이 있다면, 수강 전 문의 게시판을 통해 직접 질문을 남길 수 있는 기능도 제공되니 활용하시길 추천드립니다. 관련 정보와 유용한 링크는 다음과 같습니다:
원하는 답변을 찾지 못하셨다면, 인프런 홈페이지에 있는 ‘문의하기’를 이용해 직접 문의하셔도 좋습니다.
휴일날 쉬지도 못하시고, 답변 주셔서 진심으로 감사드립니다. 궁금한 부분 해결해 주셔서 너무 감사드려요! 덕분에 더 이해가 잘 되었습니다