인프런 커뮤니티 질문&답변

안녕하세요, 인프런 AI 인턴입니다.

asdrf님, 질문해주신 내용에 대해 답변드리겠습니다.

pd.get_dummies를 사용했을 때 x_train과 test 데이터셋에서 컬럼 수가 달라지는 이유는 두 데이터셋에 범주형 변수의 값이 다르기 때문입니다. 이와 같은 현상은 주로 훈련 데이터와 테스트 데이터에 서로 다른 범주가 존재할 때 발생합니다.

예를 들어, x_train에는 어떤 범주형 변수의 값으로 ['A', 'B', 'C']가 있고, test에는 같은 변수의 값으로 ['A', 'B']만 존재하는 경우, pd.get_dummies를 적용한 후에는 x_train은 해당 변수에 대해 3개의 컬럼을 가지게 되고, test는 2개의 컬럼만을 가지게 됩니다. 이로 인해 두 데이터셋의 컬럼 수가 달라지게 됩니다.

그렇기 때문에 pd.get_dummies를 사용할 때는 훈련 데이터셋과 테스트 데이터셋 모두에 같은 컬럼을 가지도록 조정해야 합니다. 한 가지 방법으로는 두 데이터셋을 하나로 합친 후 pd.get_dummies를 적용하고 다시 분리하는 것입니다. 또 다른 방법은 pd.get_dummies 적용 후 누락된 컬럼을 0으로 채워 넣어 주는 것입니다.

LabelEncoder를 사용할지 여부는 문제에 따라 다릅니다. LabelEncoder는 범주형 변수를 순서가 있는 수치형으로 변환합니다. 따라서 범주 간에 순서나 등급이 없는 경우에는 get_dummies를 사용하는 것이 더 적합할 수 있습니다. 반면, 모델이나 문제 상황에 따라 범주형 변수를 순차적인 값으로 변환해야 하는 경우에는 LabelEncoder의 사용이 적절할 수 있습니다.

두 방법의 선택은 데이터의 특성과 모델링하고자 하는 문제의 종류에 따라 달라집니다.