인프런 커뮤니티 질문&답변
작성한 질문수
KL Div Loss에서 Negative Entropy를 더해주는 의미에 대해서
해결된 질문
작성
·
76
·
수정됨
1
안녕하세요.
항상 친절하고 자세하게 강의해주셔서 재미있게 배우고 있습니다.
다름이 아니라, 본 강의에서 설명해주신 Negative Entropy의 의미에 대해 제가 확실하게 이해한 것이 맞는지 질문하려고 글을 남깁니다.
[질문 1] 먼저, 아래에 제가 이해한 내용이 맞을까요?
KL Div. Loss에서 negative entropy는 오직 Y_i,c에 대한 항으로만 이루어져 있고 Y_hat과는 전혀 상관이 없으므로 모델의 성능과는 관계 없는 항입니다. 따라서, 학습 데이터셋의 확률 분포 측면에서 생각했을 때, negative entropy가 높을 수록 학습 난이도가 낮은 데이터셋(예: 강아지 vs. 선인장 분류 데이터)이라 생각할 수 있고, 학습 난이도가 쉬우면 쉬울 수록 이 negative entropy 항의 값은 증가합니다.
[질문 2] 그렇다면, negative entropy 값이 높을 때(=학습 데이터셋 난이도가 낮을 때) KL Div에서 전체적인 loss 값도 커지게 되는데요. Loss 값이 커지면 결과적으로 모델이 학습할 때 더 큰 폭으로 gradient descent를 수행하게 되어서 좋은 것인가요? KL Div에서 negative entropy를 더해주는 것이 모델 학습과 정확히 어떤 관련이 있는지 잘 이해가 가지 않습니다.
감사합니다!
답변 2
0
안녕하세요 변정현입니다!
좋은 질문 감사합니다!
첫번째로는, KL Div. Loss에서 Negative Entropy가 모델의 성능과 관계없다고 보기는 어렵습니다.
Negative Entropy가 높을수록 학습 데이터셋의 난이도가 낮고, 반대로 낮을수록 학습 데이터셋의 난이도가 높다고 볼 수 있습니다.
만약에 KL Div Loss와 CE Loss을 Gradient Descent을 위한 손실함수로서가 아니라 모델 성능 평가 지표로 활용하는 경우를 예시로 들어보겠습니다. 그런 경우에는 "데이터셋의 난이도도 고려해서 모델이 얼마나 잘 맞추는가"의 측면에서 모델의 성능을 평가하고 싶으면 KL Div. Loss을 사용해 볼 수 있습니다. 반면에 "데이터셋의 난이도와 상관없이 모델이 얼마나 잘 맞추는가"의 측면에서 모델의 성능을 평가하고 싶으면 Cross Entropy Loss을 사용할 수 있는 것입니다.
하지만, Negative Entropy 값이 모델의 parameter에 독립적인 값입니다. 따라서 모델의 parameter에 대한 Gradient (경사)를 계산하게 되면 0이 됩니다. 따라서 Gradient Descent에서는 KL Div. Loss와 CE Loss은 둘 다 똑같은 Gradient을 가지게 되는 것이고 Gradient Descent 관점에서는 Negative Entropy 값은 영향을 주지 않는 것입니다.
따라서 만약에 Negative Entropy 값도 활용하고 싶다면, 해당 값에 비례한 Learning Rate을 Gradient step에 곱해주는 방식으로 Gradient Descent 알고리즘을 수정해 볼 수도 있습니다!
0
안녕하세요, 인프런 AI 인턴입니다.
메타몽열공중님, KL Divergence와 Negative Entropy에 대한 질문에 대한 답변 드리겠습니다.
질문 1에 대한 이해:
KL Divergence는 두 확률 분포 간의 차이를 측정하는 지표로, 주로 실제 분포 (Y_i)와 예측 분포 (\hat{Y}) 간의 차이를 측정하는 데 사용됩니다. Negative Entropy 부분은 주로 다음과 같이 이해할 수 있습니다:
- Negative Entropy는 주로 데이터의 복잡성을 나타내며, 주어진 분포가 얼마나 불확실한지를 나타냅니다. 높을수록 데이터가 불확실성이 적고 명확하다는 것을 의미합니다.
- 학습 난이도나 데이터셋의 명확성 측면에서 이해할 수 있습니다. 즉, 어떤 데이터셋의 Negative Entropy가 높다면 그 데이터셋이 상대적으로 쉽게 학습할 수 있음을 의미할 수 있습니다. 이는 간단한 분류 문제를 예로 들면 이해가 쉬워집니다.
질문 2의 내용 및 모델 학습에 대한 관련:
KL Divergence의 Loss 부분에 Negative Entropy 항이 포함되는 경우, 단순히 거리나 차이를 학습하는데 도움을 주는 역할을 할 수 있습니다. 그러나 기본적으로 Negative Entropy 값이 높아진다는 것은 모델이 학습하기 쉬운 데이터라는 뜻이며, Loss가 커지는 이유는 모든 정의된 로스함수를 제대로 정규화하여 이해하는 것이 필요할 수 있습니다.
Negative Entropy의 더해짐이 실질적으로 Loss를 증가시키는 경우, 이는 데이터의 특징 때문에 쉽게 과대 평가될 수 있음을 나타냅니다. Gradient Descent의 의미적 변화를 주기 위해서는 실제 상황에서 이러한 추가 항이 어떻게 모델의 학습에 기여하는지를 실험적 맥락에서 평가해야 할 수 있습니다.
이해가 어렵거나 추가적인 설명이 필요하신 경우, 다른 관점에서 설명할 수 있는 링크들을 제공해 드릴 수 있습니다.
보다 깊이 있는 이해를 위해 참고하시면 좋을 것 같습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.