인프런 커뮤니티 질문&답변

박순성님의 프로필 이미지

작성한 질문수

실전 인공지능으로 이어지는 딥러닝 개념 잡기

오토인코더(Autoencoder)

드랍아웃과 Convolutional Autoencoder에 대한 간단한 질문입니다.

해결된 질문

작성

·

217

1

드랍아웃 방법도 노이즈와 같이 첫번째 은닉층에서만 적용되나요??

9:37쯤에서 하신 말씀은 Convolutional Autoencoder에는 CNN의 classifier부분이 적용될 수 도, 안될 수도 있다는 말씀이신가요?

Convolutional Autoencoder에 드랍아웃이 적용된다면 필터에 어떤 부분을 삭제 하는 방식으로 적용하는 건가요??

답변 2

1

딥러닝호형님의 프로필 이미지
딥러닝호형
지식공유자

안녕하세요!

1. 오토인코더는 classifier 부분이 없습니다. 9:37에서 언급한 것은 latent variable을 일렬로 펼 수도 있고 안 펼수도 있다는 말입니다. 보통  latent variable에서 특징 벡터를 뽑고자 일렬로 하는게 기본적인 구조이나 연구에 따라 정하실 수 있습니다!

2. 매우 좋은 질문입니다!!

일반적으로 구조와 상관 없이 컨볼루셔널 레이어에는 드랍아웃을 적용하지 않습니다. 드랍아웃 컨셉을 잘 생각해 보시면은 일부를 계산하지 않는거죠? 그래서 애초에 계산 할 애들(?)이 어느정도 있어야 효과를 볼 수 있습니다. 하지만 컨볼루셔널 연산은 적은 가중치로 국소 부분의 피쳐값들을 뽑아내는 때문에 정규화가 효과적이지 않습니다. 만약에 "무조건 적용하고 싶다!!"라고 하신다면 이 전 컨볼루셔널 레이어에서 다음 컨볼루셔널 레이어로 넘어갈 때 나온 피쳐맵의 일부를 0으로 만들어 줍니다.

참고로 저는 써본 적 없습니다😅😅

0

박순성님의 프로필 이미지
박순성
질문자

감사합니다!!