인프런 커뮤니티 질문&답변

안녕하세요 강사님!

[3-4 Feature engineering.ipynb] 파일 복습 중에

# train, test 합쳐서 인코딩 후 분리하기
cols = list(X_train.columns[X_train.dtypes == object])
print(X_train.shape, X_test.shape)

all_df = pd.concat([X_train, X_test])

all_df = pd.get_dummies(all_df[cols])

line = int(X_train.shape[0])
X_train = all_df.iloc[:line,:].copy()
X_train

X_test = all_df.iloc[line:,:].copy()
X_test

print(X_train.shape, X_test.shape)

이부분에서 '원핫인코딩' 대신 '레이블인코딩'을 하면 어떻게 해야될지 의문점이 생겼습니다.

레이블 인코딩시에는 train데이터에는 fit_transform() 을 하고 test 데이터에는 transform() 을 하는 것으로 알고 있는데 X_train 데이터와 X_test 데이터를 합쳤을 때는 fit_transform(), transform() 둘 중 어떤 것을 사용하고나서 분리해야되는지 궁금해서 질문 드립니다!

아래는 fit_transform()을 이용해서 구현해본 코드입니다.

X_train.shape, X_test.shape
df = pd.concat([X_train, X_test])
df.select_dtypes(include='O').columns

c_cols = ['workclass', 'education', 'marital.status', 'occupation',
       'relationship', 'race', 'sex', 'native.country']

df.select_dtypes(exclude='O').columns

n_cols =  ['age', 'fnlwgt', 'education.num', 'capital.gain', 'capital.loss',
       'hours.per.week']

from sklearn.preprocessing import LabelEncoder
for col in c_cols:
  le = LabelEncoder()
  df[col] = le.fit_transform(df[col])
line = len(X_train)
X_train = df.iloc[:line,:].copy()
X_test = df.iloc[line:,:].copy()
print(X_train.shape, X_test.shape)