인프런 커뮤니티 질문&답변

김민지님의 프로필 이미지
김민지

작성한 질문수

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

작업형1 모의고사 풀어보기

DATAQ 체험문제 제2유형 관련 질문드립니다

해결된 질문

작성

·

629

·

수정됨

0

 

  • 에러메시지는 이렇게 나오는데요 /goorm/Main.out:68: DataConversionWarning: A column-vector y was passed when a 1d array was expected. Please change the shape of y to (n_samples,), for example using ravel().

    model.fit(X_tr,y_tr)

  • model.fit(X_tr,y_tr['gender']) 이라고 수정해주면 에러메시지가 사라집니다.

  • 그런데 저는 위에서 이미 y_train=y_train.drop('cust_id',axis=1) 이라고 해주었는데도 gender 컬럼을 지정해주어야 에러메시지가 안나오는 이유가 궁금합니다 ㅠㅠ
    제가 작성한 전체 코드는 아래에 첨부드립니다...
    질문이 좀 번거로워서 죄송합니다

  • 그리고 번외로, train 과 test 를 합친 all_data 에 라벨인코딩을 적용할때는 encoder.fit_transform 으로만 적어주면 되는거 같은데 이게 맞는지도 한번 여쭤보고 싶습니다

 

# 출력을 원하실 경우 print() 함수 활용
# 예시) print(df.head())

# getcwd(), chdir() 등 작업 폴더 설정 불필요
# 파일 경로 상 내부 드라이브 경로(C: 등) 접근 불가

# 데이터 파일 읽기 예제
import pandas as pd
X_test = pd.read_csv("data/X_test.csv")
X_train = pd.read_csv("data/X_train.csv")
y_train = pd.read_csv("data/y_train.csv")

# 사용자 코딩

X_train=X_train.drop('cust_id',axis=1)
y_train=y_train.drop('cust_id',axis=1)
test_id=X_test.pop('cust_id')

# 1.결측치
X_test['환불금액']=X_test['환불금액'].fillna(0)
X_train['환불금액']=X_train['환불금액'].fillna(0)



# 스케일링
from sklearn.preprocessing import (RobustScaler,MinMaxScaler)
scaler = MinMaxScaler()
cols = X_train.select_dtypes(exclude=object).columns
# print(X_test.head())
X_train[cols]=scaler.fit_transform(X_train[cols])
X_test[cols]=scaler.transform(X_test[cols])
# print(X_train.head())


# 라벨인코딩
from sklearn.preprocessing import LabelEncoder
encoder = LabelEncoder()
# print(X_train.select_dtypes(include=object))
cols = ['주구매상품','주구매지점']
# print('train')
# print(X_train[cols].nunique()) # 주구매상품 42 # 주구매지점 24 로 동일 
# print('test')
# print(X_test[cols].nunique()) # 주구매상품 41
# 합쳐야함
all_data = pd.concat([X_train,X_test])
# print(X_train.shape, X_test.shape, all_data.shape ) # (3500, 10) (2482, 10) (5982, 10) 
# 라벨인코딩 진행함 

# print(all_data[cols].head())
for col in cols:
	all_data[col] = encoder.fit_transform(all_data[col])
# print(all_data[cols].head()) #라벨인코딩 확인완료 
# 다시 나눠야함
X_train = all_data.iloc[:X_train.shape[0],:]
X_test = all_data.iloc[X_train.shape[0]:,:]
# print(X_train.shape, X_test.shape, all_data.shape ) # # (3500, 10) (2482, 10) (5982, 10) # 확인완료 # .iloc 주의할것 

# validation dataset 분리
from sklearn.model_selection import train_test_split
X_tr, X_val, y_tr, y_val = train_test_split(X_train,y_train,random_state=2023,test_size=0.15)
# print(X_tr.shape,X_val.shape,y_tr.shape,y_val.shape) #(2975, 9) (525, 9) (2975, 1) (525, 1)

# 모델링, 평가지표 
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import roc_auc_score

model = RandomForestClassifier(random_state=2023,max_depth=7,n_estimators=400)
model.fit(X_tr,y_tr['gender'])
pred=model.predict_proba(X_val)
print(roc_auc_score(y_val ,pred[:,1])) # 남자일 확률 (0:여자,1:남자)


# 답안 제출 참고
# 아래 코드 예측변수와 수험번호를 개인별로 변경하여 활용
pred=model.predict_proba(X_test)
pd.DataFrame({'custid': test_id, 'gender': pred[:,1]}).to_csv('20230615.csv', index=False)

submit = pd.read_csv('20230615.csv')
print(submit.head())

답변 1

1

퇴근후딴짓님의 프로필 이미지
퇴근후딴짓
지식공유자

fit 진행 시
X <- 데이터프레임 형태
y<- 시리즈형태여야 함

y_train.drop의 반환 값은 데이터프레임입니다. 따라서 워닝이 발생했어요

만약 y_train.pop을 사용했다면? pop 을 사용해 1개 컬럼만 적용했다면 시리즈로 반환해요!

화이팅입니다:)

김민지님의 프로필 이미지
김민지
질문자

설명 감사합니다 ^^

김민지님의 프로필 이미지
김민지

작성한 질문수

질문하기