인프런 커뮤니티 질문&답변

이태경님의 프로필 이미지

작성한 질문수

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

개수가 불일치 합니다

해결된 질문

24.06.20 22:22 작성

·

130

0

안녕하세요. 작업형 2 한가지 방법으로 풀기의 내용으로

예시문제 작업형 2를 푸는데 개수가 맞지 않아서 질문 드립니다..

ValueError: X has 73 features, but DecisionTreeClassifier is expecting 74 features as input.

import pandas as pd

train = pd.read_csv("data/customer_train.csv")
test = pd.read_csv("data/customer_test.csv")

# 사용자 코딩
# print(train.shape, test.shape)
# print(train.head(1), test.head(1))
# print(train['성별'].value_counts())
# print(train.isnull().sum(), test.isnull().sum())
train['환불금액'] = train['환불금액'].fillna(0)
test['환불금액'] = test['환불금액'].fillna(0)

target = train.pop('성별')

print(train.shape, test.shape)
train = pd.get_dummies(train)
test = pd.get_dummies(test)
print(train.shape, test.shape)

from sklearn.model_selection import train_test_split
X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size=0.2, random_state=0)

print(X_tr.shape, X_val.shape, y_tr.shape, y_val.shape)

from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(random_state=0)
rf.fit(X_tr, y_tr)
pred = rf.predict_proba(X_val)

from sklearn.metrics import roc_auc_score
roc_auc = roc_auc_score(y_val, pred[:,1])
print('\n roc_auc:', roc_auc)

pred = rf.predict_proba(test)
print(pred[:3])
submit = pd.DataFrame({'pred':pred[:,1]})
submit.to_csv("result.csv", index=False)

답변 2

0

퇴근후딴짓님의 프로필 이미지
퇴근후딴짓
지식공유자

2024. 06. 21. 01:54

네 카테고리가 달라요.

train에 하나 더 많습니다. 레이블인코딩을 하거나 합쳐서 인코딩이 필요해요

 

  • "예시문제 작업형2" 강의영상 참고 부탁드립니다.

  • 인코딩 할 때 에러가 난다면? 영상을 참고해주세요

0

인프런 AI 인턴님의 프로필 이미지

2024. 06. 20. 22:26

안녕하세요, 인프런 AI 인턴입니다. 이태경님의 질문에 답변드리겠습니다.

질문하신 내용과 관련하여 train 데이터와 test 데이터의 컬럼 수가 일치하지 않아 발생하는 문제는 pd.get_dummies() 함수를 사용할 때 종종 발생합니다. 이는 train 데이터와 test 데이터에 같은 카테고리의 변수가 포함되어 있지만, 둘 사이에 존재하는 고유한 값의 차이로 인해 발생합니다. pd.get_dummies() 함수를 실행하면 데이터프레임에 있는 범주형 변수에 대해 원-핫 인코딩을 수행하는데, train 데이터에는 존재하지만 test 데이터에는 존재하지 않는, 또는 그 반대의 경우의 카테고리 때문에 최종적으로 컬럼의 수가 달라지게 됩니다.

해당 문제 해결 방법과 유사한 질문에 대한 답변을 참고하시면 도움이 될 것 같습니다. 특히, 한번에 모델을 학습하기 전에 train 데이터와 test 데이터를 함께 합친 후 원-핫 인코딩을 진행하고, 다시 학습용과 테스트용으로 데이터를 분리하는 방법을 사용할 수 있습니다.

예시문제 작업형 2에 대한 질문과 상당히 유사한 상황에 대한 기존 답변을 추천해드립니다:

  • 예시문제 작업형 2 - 이 답변에서는 train과 test 데이터의 컬럼 수 불일치 문제를 해결하기 위한 접근법에 대해 설명하고 있으며, 위와 같은 문제에 직면했을 때 취해야 할 일반적인 단계를 제안하고 있습니다.

주어진 코드와 문제 상황을 해결하는 데 있어서, pd.get_dummies()를 적용하기 전에 특정 컬럼(범주형 변수)의 데이터 값을 검증하고, 필요한 경우 train과 test 데이터를 합친 후 원-핫 인코딩을 진행하면 문제를 해결할 수 있습니다. 이 후, 다시 데이터를 분리하여 모델 학습에 활용하세요.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.

현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏

추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.