인프런 커뮤니티 질문&답변
작성자 없음
작성자 정보가 삭제된 글입니다.
vanishing gradient
21.09.23 00:57 작성
·
212
0
시그모이드 함수 및 하이퍼볼릭 탄젠트 함수를 미분하면
각각의 미분 값의 범위가
0~0.25 (시그모이드), 0~1 (하이퍼볼릭 탄젠트) 사이여서
chain rule에 의해 계속해서 반복하여 계산하면
해당값이 0에 가까워져
gradient vanishing problem이 발생하는 거 아닌가요?
강의 내용 중 잘못된 부분이 있는 거 같아 질문 드립니다.
답변 1
0
AISchool
지식공유자
2021. 09. 26. 15:32
안녕하세요~. 반갑습니다.
말씀해주신 부분이 맞습니다. 강의내용중에 어떤 부분과 매칭 시켜서 말씀해주신건지 잘 모르겠는데 핵심은 sigmoid와 tanh은 특정 range 이상이나 이하로 인풋값의 범위가 벗어나면 미분값이 0으로 빠져버리는 대신 relu는 양수쪽으로 인풋값이 빠지면 계속해서 미분값이 살아있어서 vanishing gradient problem이 발생할 확률이 작다는 것입니다.
감사합니다~.