인프런 커뮤니티 질문&답변

안녕하세요!

변정현입니다. 좋은 질문 감사합니다!

1. MAE loss처럼 0에서 미분이 불가능 한 경우에는 gradient를 계산할 수 없는데 어떻게 해당 loss를 사용할 수 있는 것인가요?

   1. PyTorch에서 MAE Loss에 대해서는 Loss 값이 0일 때 경사는 0으로 근사합니다!

   2. 따라서 엄밀히 말하면 Loss 값이 0일때는 미분값이 정의되지 않지만 PyTorch에서는 미분값으로 0이 출력되도록 구현되어 있습니다!

      

       

2. 한 번만 미분 가능한 것보다 2번 이상 미분가능한 것의 장점이 무엇인가요?

   1. 넵, 슬라이드 47에서 부연 설명드리는데,

   2. “미분가능함”은 해당 함수가 Smooth (매끄럽다) 하고 Well-behaved (얌전하다) 는 의미를 가집니다.

   3. 즉, 함수의 출력값이 입력값의 변화에 따라 “매끄럽고 부드럽게” 변한다는 의미이고,

   4. 매끄럽고 부드러울수록 함수를 extrapolate, interpolate하기 수월해집니다.

   5. 딥러닝 모델도 어떻게 보면 함수를 잘 근사하도록 학습하는 것이기 때문에 매끄럽고 부드러운 함수일 수록

      학습 과정에서 보지 못한 input data space에 대해서 interpolate 혹은 extrapolate할 수 있게 됩니다.