인프런 커뮤니티 질문&답변
작성한 질문수
옵티마이저와 경사하강법의 차이가 궁금합니다.
작성
·
30
1
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!
- 먼저 유사한 질문이 있었는지 검색해보세요.
- 강의 내용을 질문할 경우 몇분 몇초의 내용에 대한 것인지 반드시 기재 부탁드립니다.
- 서로 예의를 지키며 존중하는 문화를 만들어가요.
- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
어느정도 찾아본 결과 옵티마이저는 최적의 파라미터를 찾아주는 알고리즘을 뜻한다고 합니다.
그런데 제가 듣기로는 경사하강법도 비슷한 개념인 것 같습니다.
그렇다면 옵티마이저 안에 경사하강법과 monentum, adagrad 등등 다 포함되는 건가요?
답변 1
1
권 철민
지식공유자
안녕하십니까,
딥러닝은 경사 하강법으로 Gradient를 구하지만, 모델 성능 향상을 위해서 이 값을 그대로 가중치에 Update 하지 않고, 보다 다양한 최적화 방식으로 가중치를 Update하게 되는데, 이걸 optimizer라고 합니다.
optimizer는 강의에서 설명드린대로 momentum, adagrad, rmsprop등의 방식등으로 Gradient값을 가중치에 update하게 됩니다.
요약하자면 경사하강법 방식으로 가중치에 update할 Gradient 값을 찾지만, 이걸 가중치에 실제 update할 때는 optimizer중 하나를 선택해서 update값을 변경하여 적용하게 됩니다.
감사합니다.
우와.. 이렇게 빠르게 답변 달아주실 줄은 몰랐습니다..!
감사합니다!