인프런 커뮤니티 질문&답변

yb님의 프로필 이미지

작성한 질문수

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

4회 기출 유형(작업형2)

4회 기출 유형(작업형2)

해결된 질문

24.05.21 18:09 작성

·

113

0

4회 기출 유형(작업형2)까지 수강하였을 때, 제가 이해한 내용은 다음과 같습니다.

 

<모델의 성능을 평가하는 방법>

  1. 데이터 분리 (X_tr, X_val, y_tr, y_val) → 모델 학습 & 하이퍼 파라미터 튜닝 → 평가 (f1 score, roc_auc_score 등)

     

    하이퍼 파라미터 튜닝의 값을 조절해가며 평가 점수 확인

  2. 데이터 분리 없이, 모델 학습 & 하이퍼 파라미터 튜닝 → 교차검증 (cross_val_score)

 

이때 질문드립니다.

  1. 제가 이해한 대로, 모델의 성능을 평가하는 방법이 위의 2가지가 있는게 맞을까요?

  2. 강사님이 영상에서 교차검증을 사용한 이유는 문제에서 평가 방식을 '평가: Macro f1-score'라고 제시해주었기 때문인가요?

  3. 혹시 실제 시험 상황에서 평가 방식을 제시해주지 않는다면, 위의 2가지 방법 중 어떤 것을 사용해도 상관이 없는건가요?

 

 

답변 1

0

퇴근후딴짓님의 프로필 이미지
퇴근후딴짓
지식공유자

2024. 05. 21. 20:33

평가하는 방법을 정확히 말씀드리면

  1. 홀드아웃(train과validation 분리)

  2. 교차검증(k-fold 방식)

두 가지가 있어요!

교차 검증은 심화 학습입니다. 어떤 것을 사용해도 상관 없지만 혹 입문자라면 추천하진 않습니다.

1과 달리 2는 교차 검증 이후 다시 학습을 한번 더 해야 해서 번거로움이 있어요 (실수할 수도 있습니다)

1번으로만 연습해서 시험에 응시 하는 것을 추천해요💪💪💪

 

영상에서 교차검증을 사용한 이유는 평가 지표(f1) 때문은 아니고 6회였나요? 모델 성능이 너무 좋게 나와서 이를 평균적으로 보기 위함이었어요!

yb님의 프로필 이미지

작성한 질문수

질문하기