인프런 커뮤니티 질문&답변

안녕하세요. 5장의 경사 하강법 파트를 진행하고 있는 수강생 입니다.

다름이 아니오라 경사 하강법과 역전파의 명확한 차이점을 알고 싶어서 질문드립니다.

제가 직관적으로 이해하기에 경사 하강법과 역전파의 큰 틀은 동일하다고 생각됩니다.

경사 하강법의 경우, 머신러닝 선형 회귀 경우에 RSS 편미분 값을 가지고 반복적인 계산을 통해 회귀 계수 w 파라미터 값을 업데이트하면서 cost 값이 최소가 되는 w 파라미터를 구하는 방식입니다.

역전파의 경우도 딥러닝 신경망에서 loss의 편미분 값을 역전파하면서 weight & bias 값을 지속적으로 업데이트하고 loss 값이 최소가 되는 weight & bias 파라미터 값을 찾는 걸로 알고있습니다.

결국, 오차 편미분 값을 사용하여 파라미터 값을 지속적으로 업데이트하면서 오차값이 최소가 되는 파라미터를 찾는 목적은 동일합니다. 그러면 두 방식의 큰 차이점은 적용 대상이 다르다는 점 일까요 ? 경사 하강법은 주로 머신 러닝의 알고리즘에 반면 역전파는 딥러닝의 신경망 한정해서

강의 내용과 크게 연관성이 없어보이지만 문득 든 생각에 궁금증을 해소할 길이 없어 이렇게 질문 남깁니다.

감사합니다.