인프런 커뮤니티 질문&답변

질문 1.

3-4 피쳐엔지니어링 강의 부분과

10-2 공식예제 체험형 2 연계 질문이 있습니다.

아래건 10-2에서 풀어본 거입니다.

import pandas as pd

train = pd.read_csv("data/customer_train.csv")
test = pd.read_csv("data/customer_test.csv")

# 사용자 코딩

# EDA
print(train.shape, test.shape)

# print(train.info())     # 범주형  주구매상품  , 주구매지점
# print(test.info())      # 범주형  주구매상품  , 주구매지점
# print(train.isnull().sum())      #    결측치   환불금액
# print(test.isnull().sum())       #    결측치   환불금액

## 전처리 (결측치, 이상치)
# print(train["환불금액"])
train["환불금액"] = train["환불금액"].fillna(0)
test["환불금액"] = test["환불금액"].fillna(0)
# print(train["환불금액"])

## 피쳐엔지니어링(스케일링, 인코딩)

from sklearn.preprocessing import LabelEncoder

cols = train.select_dtypes(include="O")

for col in cols:
	le = LabelEncoder()
	train[col] = le.fit_transform(train[col])
	test[col] = le.transform(test[col])


## 검증데이터셋 분리

from sklearn.model_selection import train_test_split

x_tr,x_val,y_tr,y_val = train_test_split(train.drop(["성별"], axis=1), train["성별"],test_size=0.2, random_state = 100)

## 평가지표 및 모델 불러오기


from sklearn.metrics import roc_auc_score, f1_score, accuracy_score
from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(random_state = 100)
rf.fit(x_tr, y_tr)
pred_rf = rf.predict_proba(x_val)

print("roc_auc:",roc_auc_score(y_val,pred_rf[:,1]))    #  기본 0.6258311184510446     # 인코딩 후,  0.6356067057174067


# 예측 (테스트셋에 적용)
pred = rf.predict_proba(test)
# print(pred)
# print(pred[:,1])

# df 생성 및 제출

df = pd.DataFrame({"pred": pred[:,1]})
# print(df)

df.to_csv("result.csv", index=False)

print(pd.read_csv("result.csv"))

라벨? 레이블? 인코딩 하면서

cols 변수를 만들 때, .columns 를 추가하지 않아도 결과까지 문제 없이 되더라고요. .columns를 추가하면 시리즈 타입의 변수가 생성되고, 위에처럼 빼면 데이터프레임 차원 타입으로 변수가 생성되는건 확인했습니다.

그래서 간편성을 위해 .columns 를 빼고 원핫 인코딩도 가능한가

3-4 강의 때 자료를 적용해서 돌려봤습니다

n_train = X_train.select_dtypes(exclude = 'object').copy()       
n_test = X_test.select_dtypes(exclude = 'object').copy()
#사본 작성시 copy() 넣어서 실행
c_train = X_train.select_dtypes(include='object').copy()
c_test = X_test.select_dtypes(include = 'object').copy()


cols = X_train.select_dtypes(include="O")

c_train = pd.get_dummies(c_train[cols])                         
c_test = pd.get_dummies(c_test[cols])

그랬더니 에러가 발생 하더라고요.

#   ValueError: Boolean array expected for the condition, not object

cols = X_train.select_dtypes(include="O").columns 
# 이렇게 .columns 를 추가하고 돌리니 사용 가능

cols 변수 생성할때 다시 .columns 를 추가하고 돌리니까 에러 없이 끝까지 잘 되더라고요.

라벨 인코딩에선 문제 없던게 원핫 인코딩에서 ValueError: Boolean array expected for the condition, not object가 발생하는 이유가 뭔지 궁금합니다.

인코딩은 라벨이든 원핫이든 cols 변수 때 select_dtypes(include="O).columns 으로 .columns 까지 다 입력하는걸로 연습하는게 맞는거 같은데 오류 발생은 이해가 안되네요.

질문 2.

※ 피쳐엔지니어링에서 train, test 셋을 분리( .copy() )해서 수치형은 스케일링하고 범주형은 인코딩 한 다음, 합치기 ( .concat() ) 하는 방식이 아니라

수치형 부분 칼럼을 변수(cols_n)로 받고, 범주형 부분을 변수(cols_c) 으로 받아서, 데이터셋을 수치와 범주형으로 분리하지 않은 상태에서 각각 스케일링, 인코딩을 적용하고 검증데이터셋 분리-> 모델 & 평가지표 불러오기 -> 예측(테스트셋 적용) -> df 생성 -> 제출 하는 방법은 어렵나요?

아래 처럼요.

[train, test 2개 데이터셋 제공시]

# train셋엔 있고 test셋엔 없는 target에 해당하는 칼럼 분리

target = train["target"]

cols_n = train.drop("target", axis=1).select_dtypes(exclude="O).columns

cols_c = train.drop("target",axis=1).select_dtypes(include="O").columns

# "target" 데이터는 범주형이든 수치형이든 스케일링이나 인코딩을 하면 안되므로 제외시킴(이거 맞나요?)

또는

target = train.pop(["target"])

cols_n = train.select_dtypes(exclude="O).columns

cols_c = train.select_dtypes(include="O").columns

## 수치형 민맥스 스케일링 작업
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
           
train[cols_n] = scaler.fit_transform(train[cols_n])
test[cols_n] = scaler.transform(test[cols_n])

## 범주형 라벨 인코딩 작업
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()

for col in cols_c:
    le = LabelEncoder()
    train[col] = le.fit_transform(train[col])
    test[col] = le.transform(test[col])

그 다음 검증데이터셋 분리 ~~~~~~~~~~~ 제출

[X_train, y_train, X_test 3개 데이터셋 제공시]

cols_n = X_train.select_dtypes(exclude="O).columns

cols_c = X_train.select_dtypes(include="O").columns

## 수치형 민맥스 스케일링 작업
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
          
X_train[cols_n] = scaler.fit_transform(train[cols_n])
X_test[cols_n] = scaler.transform(test[cols_n])

## 범주형 라벨 인코딩 작업
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()

for col in cols_c:
    le = LabelEncoder()
    X_train[col] = le.fit_transform(X_train[col])     # 처음에 
    X_test[col] = le.transform(X_test[col])

이후 검증데이터셋 분리 ~~~~~~~~~~~ 제출

이런 식으로요.

작업형2에서 피쳐엔지니어링 부분이 특히 어려워서 조금이라도 간편하고, 범용성 높은 방법을 찾는게 머리 속 정리하기도 쉽고, 외우기도 좋을 거 같아서 고민중입니다.