인프런 커뮤니티 질문&답변
작성한 질문수
section4의 entropy 시그마 식 전개에 대한 질문입니다.
해결된 질문
24.06.21 23:13 작성
·
129
1
안녕하세요, 좋은 강의 잘 듣고 있습니다.
다름이 아니라 entropy를 안내해주실때 entropy의 식이
-Σp_i*log(p_i)위 식이고, p와 1-p에 대한 의미도 잘 이해했습니다.
그런데 대입하는 과정에서 갑자기
-plogp-(1-p)log(1-p)가 된 것이 이해가 안되네요... 그래프로 그려주시면서 설명해주신 것도 잘 이해가 되는데,
어떤 과정으로 위 식이 나왔는지 이해가 안되서 질문드려요.
제가 단순 시그마 푸는 법을 잊어서 생긴 것이라면 다시 찾아보겠습니다. 두 값을 대입한다는 말이 어떤 것을 의미하는지 잘 이해가 안되서 질문드립니다.
감사합니다.
답변 2
1
1
변정현
지식공유자
2024. 06. 21. 23:22
안녕하세요 변정현입니다!
질문 주셔서 감사합니다!
Binary의 경우에 대해서 수식을 전개하면 해당 수식이 나오게 됩니다.
어떤 class에 해당되는 확률을 p_1, 아닐 확률을 p_0 이라고 지칭해보겠습니다.
맞을 확률 p_1 = p 값이면, 아닐 확률 p_0 = 1-p 가 됩니다!
따라서, i=0, 1에 대해서 -Σp_i*log(p_i) 전개하게 되면 - p_0 log p_0 - p_1 log p_1 = - (1-p) log (1-p) - p log p 가 됩니다!