인프런 커뮤니티 질문&답변

안녕하십니까, 

gradient descent는 오류값이 최소가 될 수 있도록 weight를 update하는 방식이고, back propagation역시 gradeint descent방식으로 오류값이 최소가 될 수 있도록 weight를 update하는 방식입니다. 

그런데 Deep learning 과 같은 복잡한 모델은 gradient descent를 적용하기 위한 미분식을 해결하기가 매우 어렵습니다. gradient descent는 오래전에 제안된 방식입니다. 그렇지만 back propagation 방식이 나오기 전까지만 해도 층이 깊어지는 딥러닝같은 모델은 gradient descent를 적용을 못해서 모델이 발전하지 못했습니다. 

그런데 이걸 한번에 미분식을 풀지 않고, 뒤에서 부터 순차적으로 미분식을 풀어나가면서 gradient descent를 적용할 방법을 찾아낸것이고 그게 back propagation 입니다.  이후 딥러닝 같은 모델이 크게 발전하게 됩니다. 

gradient descent 이 미분을 적용해서 loss함수의 최소값이 될 수 있는 방향성으로 weight를 업데이트하는 일반적인 방법이라면  back propagation은 이 미분식을 뒤에서 부터 풀어 나가면서 loss함수의 최소값이 될 수 있는 방향성으로 뒤에 있는 weight부터 순차적으로 업데이트 하는 Gradient descent 방식 입니다. 

감사합니다.