섹션 11 2회 기출유형(작업형2) 코드 질문

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

2회 기출유형(작업형2)

해결된 질문

작성

121

학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!
질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요
먼저 유사한 질문이 있었는지 검색해보세요

안녕하세요. 좋은 강의 감사드립니다.

오류 없이 결과는 나왔습니다. 제 코드가 맞는지, 엉뚱한지 확인이 어려워 질문드립니다.

맞는 풀이인가요? 고쳐야 할 부분이 어떤 부분인가요?
ID 드랍하지 않고 쭉 진행했는데, 이러할 경우 문제가 되나요?
roc_auc_score, submit 과정에서 pred에 [:,1]을 하면 오류가 없고, 빼면 오류가 생기는데 pred[:,1]인 이유가 헷갈립니다.
랜덤포레스트에서 random_state=2024만 적어서 돌려도 되나요?

질문이 장황한데 답변 주셔서 항상 감사합니다!

cols = ['Warehouse_block' ,'Mode_of_Shipment','Product_importance' , 'Gender']

from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
for col in cols:
    X_train[col] = le.fit_transform(X_train[col])
    X_test[col] = le.transform(X_test[col])
 
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test =  train_test_split(X_train, y_train['Reached.on.Time_Y.N'], test_size = 0.2, random_state = 2024)

from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(n_estimators=160, max_depth=20, random_state=2024)
rf.fit(X_train, y_train)
pred = rf.predict_proba(X_test)

from sklearn.metrics import roc_auc_score
print(roc_auc_score(y_test, pred[:,1]))

pred = rf.predict_proba(X_test)
pred

submit = pd.DataFrame({
         'ID': X_test['ID'],
        'pred':pred[:,1]
})

submit.to_csv("result.csv", index=False)

import pandas as pd
df = pd.read_csv("result.csv")

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

퇴근후딴짓

지식공유자

train_test_split 사용 시 X_train과 X_test가 이전에 정의된 X_train과 X_test를 덮어쓰는 문제가 있습니다. X_tr, X_val, y_tr, y_val 사용이어떨까요?

X_tr, X_val, y_tr, y_val = train_test_split(X_train, y_train['Reached.on.Time_Y.N'], test_size = 0.2, random_state = 2024)

pred = rf.predict_proba(X_test)가 두 번 호출되었고 이미 덮어썼기 때문에 문제에서 묻고 있는 X_test 가 아닌 상황이에요

결국 데이터 수가 달라 0점 처리 됩니다. 예측해야할 test데이터를 덮어쓰지 마세요

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다.

rkgml5153님의 질문에 대해 구체적으로 동일한 문제를 다루는 자료가 딱 맞는 것을 찾지 못했습니다. 그러나 제공된 정보를 바탕으로, 질문에 대한 몇 가지 일반적인 지침을 제공해드리겠습니다.

코드의 정확성: 제시된 코드가 기본적으로 잘 구성되어 있으며, LabelEncoder를 사용한 카테고리형 변수의 인코딩, train_test_split을 사용한 데이터 분리, RandomForestClassifier를 사용한 모델 학습과 예측까지 적절한 단계를 따랐습니다. 코드의 정확성은 주어진 데이터와 문제의 요구사항에 부합하는지를 확인해야 합니다.
ID 드랍 여부: 일반적으로 모델 학습에 사용되지 않는 ID 컬럼은 학습 데이터에서 제거합니다. ID 컬럼이 모델의 학습에 있어서 불필요한 정보를 추가할 수 있으며, 예측의 정확도에 영향을 줄 수 있기 때문입니다. 하지만 여기서 ID는 결과 제출을 위해 필요하므로, 학습 데이터에서는 제외하고 예측 결과와 함께 제출 파일을 만들 때만 사용하면 됩니다.
roc_auc_score 사용시 pred[:,1]의 이유: roc_auc_score 함수는 이진 분류에서의 성능 측정에 사용됩니다. RandomForestClassifier의 predict_proba 메소드는 각 클래스에 속할 확률을 반환하는데, 이 경우 pred[:, 1]은 두 번째 클래스(보통 ‘양성’ 클래스 또는 관심 클래스)에 속할 확률을 나타냅니다. roc_auc_score은 이 확률을 사용하여 실제값과의 관계를 평가합니다. 따라서 pred[:, 1]을 사용하는 것이 올바릅니다.
랜덤포레스트의 random_state 설정: RandomForestClassifier에서 random_state를 설정하는 것은 모델의 결과를 재현할 수 있도록 해줍니다. 특정 random_state 값에 대해 모델을 여러 번 실행하면, 동일한 결과를 얻을 수 있습니다. 따라서, 실험적 환경을 제어하고 결과의 일관성을 유지하기 위해 random_state 값을 설정하는 것이 좋습니다.

제시하신 코드 위주로 답변을 드렸고, 사례별로 더 구체적인 지침이나 예시가 필요한 경우 빅데이터 분석기사 실기 FAQ 게시글을 참고하시는 것도 도움이 될 수 있습니다. 우선 여기서는 같은 강의 내 다른 유형의 질문을 다루는 자료이지만, 질문자님이 제기한 구체적인 문제와 정확히 일치하지는 않기에 참고 자료로 확인하시기 바랍니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.

현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏

추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변

섹션 11 2회 기출유형(작업형2) 코드 질문