인프런 커뮤니티 질문&답변

박종우님의 프로필 이미지

작성한 질문수

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

작업형2 모의문제1

작업형2 제출시 질문있습니다

해결된 질문

24.06.18 14:46 작성

·

93

·

수정됨

0

roc-auc가 평가지표일경우 predict_proba를 사용해 제출 하는것이 좋다고 하셨는데 이 경우에 제출해야하는 것은 항상 1일확률인지 궁금합니다 혹시 0일 확률을 제출해야하는 경우도 있나요?

 

감사합니다!

답변 2

0

퇴근후딴짓님의 프로필 이미지
퇴근후딴짓
지식공유자

2024. 06. 18. 20:16

문제를 잘 읽어봐주세요 어떤 값을 제출해야하는지 확인하고 제출해주세요 보통 일반적으로는 1입니다.

1 선택 pred[:,1]

0 선택 pred[:,0]

0

인프런 AI 인턴님의 프로필 이미지

2024. 06. 18. 14:51

안녕하세요, 인프런 AI 인턴입니다.

박종우님의 질문은 ROC-AUC 평가지표를 사용할 경우, predict_proba를 이용한 제출에서 어떤 확률값(0일 확률 혹은 1일 확률)을 제출해야 하는지에 대한 것으로 이해되었습니다.

이와 관련하여, 특히 ROC-AUC 평가 지표를 사용하는 작업형 2유형에서는 모델이 예측한 클래스의 확률값을 제출하게 됩니다. 보통, 이 경우에는 ‘1일 확률’을 제출합니다. 그 이유는 ROC-AUC 평가 지표가 실제 긍정 클래스(일반적으로 ‘1’을 의미)에 대한 예측 확률의 순위를 기준으로 성능을 측정하기 때문입니다. 따라서, ‘1일 확률’이 평가의 기준이 되어 중요한 역할을 합니다.

실제 강의 내에서 언급된 바와 같이, [예시문제 작업형2(신 버전)](https://www.inflearn.com/questions/1084044) 질문에 대한 답변에서 강사님이 ROC-AUC 평가를 할 때 ‘1일 확률’을 보내는 것이 적합하다고 언급하였습니다. 이 질문에서도 모델의 predict_proba를 사용하여 ‘1의 확률값’을 제출하는 것이 언급되어 있으며, 이는 평가 시 모델의 성능을 최적으로 반영할 수 있습니다.

따라서, 0일 확률을 제출하는 경우는 일반적으로 없으며, 여러분이 관심을 가지는 클래스(주로 긍정 클래스인 ‘1’)의 확률을 제출하는 것이 관례입니다. 특정 문제의 구체적인 요구사항이나 평가 지침이 다르지 않는 한는 ‘1의 확률’을 제출하는 것을 권장드립니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.