작업형 2 모의문제 3 훈련율

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

작업형2 모의문제3

해결된 질문

24.05.13 16:39 작성

126

학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!
질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요
먼저 유사한 질문이 있었는지 검색해보세요

안녕하세요 저는 먼저 혼자 풀어보고 강의를 보는식으로 공부를 하는 중입니다. 베이스라인만 작성하여 아무처리 하지않고 데이터 분리후 (test size = 0.15 , random_state=2022) 최대한 영상과 똑같이 모델 훈련을 하였는데요스코어가 roc , auc , f1모두 자꾸 스코어가 1점으로 나와서 훈련율의 문제인가 싶어 런타임을 재실행하거나 그래도 자꾸 1로나오더라구요 그런데 훈련율 파라미터인 max_samples를 0.5로해도 1로 나오던게 0.01로 하니 인강과 비슷한 점수로

from sklearn.metrics import roc_auc_score, accuracy_score , f1_score

model = RandomForestClassifier(random_state=2022,max_depth =5,max_samples =0.01 )
model.fit(X_tr,y_tr)
pred = model.predict(X_val)
pred_proba = model.predict_proba(X_val)


print('roc:',roc_auc_score(y_val,pred_proba[:,1]),'\n' ,
      'accuracy:',accuracy_score(y_val,pred),'\n',
      'f1:',f1_score(y_val,pred),'\n')

>>>roc: 0.9712121212121212 accuracy: 0.8648648648648649 f1: 0.8717948717948718
이렇게 나오더라구요 뭐가 문제인걸까요...? 데이터 전체갯수가 300개가 되지않아 과적합된것같단 생각은있는데 인강에서는 저랑 똑같이 진행했는데도 불구하고 점수가 잘나와서 의문이네요 ㅠㅠ

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

퇴근후딴짓

지식공유자

2024. 05. 13. 19:16

<결론> 제가 보기엔 큰 문제 없어 보입니다. 작은 데이터로 인해 발생한 것 같습니다. 이렇게까지 파라미터 튜닝을 시험에서 하실 필요는 없습니다 🙂

우선 데이터에 따라서 1에 가까운 점수가 나타날 수도 있습니다. 모델도 업데이트가 되다보니 영상과도 다를 수도 있고요~!! test size = 0.5이상 으로 했을때도 여전히 1이면 문제로 의심됩니다. 테스트가 50% 이상인데 1이면 타겟값이 포함되었을 수도 있거든요

추가로 기출6회 작업형2에 점수가 너무 잘 나왔을 때 검증하는 방법(크로스 밸리데이션)을 알려드리고 있습니다.

최우영

질문자

2024. 05. 13. 16:42

 max_samples = 0.05 
    >> roc :1
 max_samples = 0.015
    >> roc: 0.99
 max_samples = 0.005
    >> roc: 0.5 
       accuracy: 0.40540540540540543 
       f1: 0.0

0.005와 0.01사이에서 급하게 점수가 바껴버리니 어렵네요,,,

인프런 커뮤니티 질문&답변

작업형 2 모의문제 3 훈련율