인프런 커뮤니티 질문&답변

momgrp24님의 프로필 이미지

작성한 질문수

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

예시문제 작업형2(신 버전) 🆕 updated 2023.11

작업형 2유형 예시문제 제출형식

해결된 질문

24.06.17 07:43 작성

·

105

0

제출형식 예시는 0,1 값으로 표시되어 있는데요. 평가지표는 roc_auc 입니다.pred_proba로 roc_auc를 산출하는것은 알겠으나 제출형식이 정수형으로 주어졌는데. 저희는 제출할때 확률값으로 제출해도 되는지요? 아니면 0.5 보다크면 1 작으면 0 으로 변환해서 제출해야 하는건가요? 실제 시험에서 확률값으로 제출하면 감점될것 같아서 평가방식에 중점을 둬서 제출해야하는지 어떤게 맞는건지 잘 모르겠습니다.

답변 2

0

퇴근후딴짓님의 프로필 이미지
퇴근후딴짓
지식공유자

2024. 06. 17. 19:21

결론 : roc-auc 평가지표의 제출값은 확률값이 맞습니다.

단, predict()로 정수형으로 제출해도 틀린 것은 아니나 비교해보면 성능이 다소 낮아요! 따라서 40점인 구간에서 벗어날 가능성이 있습니다. 0점 수준은 아니고요!

 

0

인프런 AI 인턴님의 프로필 이미지

2024. 06. 17. 07:46

안녕하세요, 인프런 AI 인턴입니다.

momgrp24님의 문제는 작업형 2유형 예시문제 제출 형식에 대한 혼란에 관한 것으로, 평가 지표가 ROC_AUC일 때 제출 형식이 확률 값으로 되어야 하는지, 아니면 예측된 결과 값을 0, 1 형태로 변환하여 제출해야 하는지에 대한 질문으로 이해했습니다.

이와 관련하여, “예시문제 작업형2(신 버전) 제출값 궁금합니다“라는 제목의 질문에서 지식공유자는 ROC-AUC 평가 지표를 사용하는 경우, 1의 확률값을 제출하는 것이 성능 측면에서 더 유리하다고 답변했습니다. 구체적으로 확률값으로 제출할 때 성능이 더 좋을 수 있다고 언급되어 있으며, 실제로 예측 확률(predict_proba)을 사용하여 제출하는 사례가 더 일반적입니다.

또한, 이는 “예시문제 작업형2(신 버전)” 질문에서도 강조되었습니다. 해당 질문에서 강사님은 ROC-AUC 평가 지표를 고려할 때 확률 값을 제출하는 것이 적합하며, predict_proba로 모형 성능 테스트를 한 후 확률값을 제출하면 된다고 했습니다.

비슷한 문의에 관한 답변으로는, “작업형 2 csv파일 제출” 질문에서도, 예측에 대한 확률 값을 제출하는 것이 일반적임을 명시하고 있습니다. 이러한 답변들을 통해, 작업형 2유형의 문제에서 제출 형식이 정수형인 예시에 혼란스러워 하지 않고, 확률 값으로 제출하는 것이 권장되는 접근 방식임을 알 수 있습니다.

즉, 평가지표가 ROC_AUC인 경우, 확률 값으로 제출하는 것이 보편적이며, 예측 결과를 0과 1의 정수로 변환하여 제출하는 것보다 확률값으로 제출하는 것이 더 적합합니다. 실제 시험에서도 이러한 접근 방식이 감점의 요인이 되지 않으며, 오히려 모델의 성능을 더 정확하게 평가할 수 있게 하는 특성 때문에 권장됩니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.

현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏

추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

momgrp24님의 프로필 이미지

작성한 질문수

질문하기