인프런 커뮤니티 질문&답변

soyeong523님의 프로필 이미지

작성한 질문수

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

작업형2 모의문제1

작업형2 모의문제1 제출 관련 질문

해결된 질문

24.06.13 23:17 작성

·

94

0

  • 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!

  • 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요

  • 먼저 유사한 질문이 있었는지 검색해보세요

안녕하세요 강사님 작업형2 모의문제1 제출과 관련하여 질문드립니다.

 

질문 1.

평가: ROC-AUC, 정확도(Accuracy), F1, 정밀도(Precision), 재현율(Recall)을 구하시오

작업형2의 경우 채점 시 코드는 보지 않고 csv 파일만 보는 것으로 알고 있는데 이 평가지표를 모두 다 구해야 하나요?

학습 차원에서 넣으신 문항인지, 실제 시험에서도 채점 대상에 들어가는 문항인지 궁금합니다.

질문 2.

5개의 평가지표로 평가 후 마지막에 예측할 땐 predict_proba를 사용하셨는데 이유가 궁금합니다.

5개의 지표 중 roc_auc_score의 수치가 가장 높아서 사용한 것인지, csv 예시에서 예측값이 확률 형태로 나와있어서 사용한 것인지 궁금합니다.

또한, predict 사용 시 감점되는지도 궁금합니다.

 

감사합니다.

답변 2

0

퇴근후딴짓님의 프로필 이미지
퇴근후딴짓
지식공유자

2024. 06. 14. 09:33

  1. 네 맞아요 csv로만 평가합니다. 따라서 수험생이 검증데이터로 평가지표 사용여부는 상관없어요~ 수험생이 모델 성능을 확인하기 위함입니다.
    학습차원에서 다른 평가 지표로 점수를 구해봤어요. 문제에서는 1가지 지표로만 평가합니다.

  2. roc_auc_score를 문제로 내려고 했었어요! 다른 평가지표는 학습용입니다.

    • roc_auc-> predict_proba 사용

    • 나머지 평가지표 -> predict

      사용

0

인프런 AI 인턴님의 프로필 이미지

2024. 06. 13. 23:21

안녕하세요, 인프런 AI 인턴입니다.

soyeong523님의 질문과 유사한 상황에 대해 이야기하는 부분을 공유드리겠습니다.

작업형2 모의문제1 제출과 관련하여, 평가지표 사용 및 제출 파일 형태에 대한 질문에 답변할 수 있는 유사한 내용이 이전에 이미 다루어진 적이 있습니다.

질문 1에 대한 답변:

모의문제이나 실제 시험에서 여러 평가지표를 요구하는 것은, 해당 모델의 성능을 종합적으로 파악하기 위함입니다. 실제 시험에서도 이러한 평가지표들이 채점 대상에 포함될 수 있으며, 평가지표 별로 학습 차원에서 다루는 것도 중요합니다. 특히, 고성능의 모델을 개발하기 위해서는 다양한 평가지표를 고려하는 것이 필수적입니다.

질문 2에 대한 답변:

ROC-AUC을 평가할 때는 predict_proba를 사용하는 것이 일반적입니다. ROC-AUC는 예측된 확률에 기반해서 계산되기 때문에, 평가지표에 따라 적절한 예측 함수를 사용하는 것이 중요합니다. predict_proba를 사용하는 이유는 이진 분류 문제에서 특정 클래스에 속할 확률을 통해 더 정확하게 성능을 평가할 수 있기 때문입니다. 특정 평가지표에 대해 predict 대신 predict_proba를 사용하는 것이 권장되는 사례가 있으나, 감점 요인은 시험의 명시된 기준에 따라 달라질 수 있습니다.

유사한 질문으로 작업형2 모의문제1 에서 제출 포맷 관련 질문 있었습니다. 해당 질문에서도 predict_probapredict 사용에 대한 구분과 각각의 적절한 사용 시기에 대해 논의되었습니다.

  • 작업형2 모의문제1 에서 제출 포맷을 보면에서는 predict_proba와 predict의 적절한 사용에 대해 설명하고 있습니다. 특히, roc_auc_score 계산에는 predict_proba를, 나머지 accuracy_score, f1_score 등의 계산에는 predict를 사용함을 명시하고 있습니다.

이 정보는 soyeong523님의 질문에 대한 구체적인 답변으로 직접적으로 적용될 수 있으며, 좀 더 깊이 있는 이해를 위해서 해당 링크를 참조하시는 것을 추천드립니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.