인프런 커뮤니티 질문&답변

친절하고 상세한 답변에 감사 드립니다.

TEST 데이터 또한 TRAIN 모형에 따라 조절이 가능하다면,

응시 간 부담이 덜어지는 느낌이라 다행입니다.

덕분에 많은 이해가 되었습니다. 수강 하면서 좋은 결과 드릴 수 있도록 노력하겠습니다.

감사합니다.

안녕하세요 선생님, 답변 감사드립니다.

회신주신 내용을 참조하여 강의 내용과 동일하게 필사 코딩을 해보았습니다.

강의자료 파일을 그대로 사용하였으며, 실제 Test 파일에 모델을 적용 시 역시 최종값은

2482개 중 1611개의 결측부분이 제외 된 871행으로 출력이 됩니다.

원인을 계속 생각해 보았는데, Test Data의 결측치는 예측값 산출에서 제외되는 것 같습니다.

환불금액 열을 아예 빼버리고 모델 적용 시 올바른 2482개가 나오지만....

TEST Data는 수정을 가하면 안 되는 데이터로 알고 있습니다.

강의 부분 내 선생님께서 언급하여 주신 아래의 내용중 결과 수량이 상이한 부분에 대하여

추가 분석해보려 하였는데 강의 내에 숫자 산출 부분이 없어 다시 한번 확인 문의를 드립니다.

[회신주신 내역]

result <- data.frame(Y_N = p3[,2])

write.csv(result, 'result.csv')

 위의 스크립트 직전의 p3값을 확인하면 아래와 같습니다.

> str(p3) → 2482개로 산출

[추가 문의내역 요약]

1) 처음 회신 주신 최종 2482개의 데이터가 X_Test 데이터 내 결측치(NA)가 포함된 '환불금액' 행을 포함하여 예측을 진행하였을 경우에도 동일하게 2482개로 산출되는 것인지 문의 드립니다.

2) Train Data 예측시 select(-c(1,5,6)으로 factor 파라메타가 많은 열을 제외하셨는데,

이 것을 TEST 데이터 적용시에도 동일하게 수정을 가해도 되는 부분인지 문의 드립니다.(+결측값 수정 포함)

(TEST 환불금액 NA결측치를 평균으로 강제변경시 2482개 정상 산출을 확인하였습니다)

[추가확인내역]

강의내역 확인 시 15:02 쯤 첨부 내의 해당 코드가 없는 것 같습니다.

제가 아직 강의 진도를 절반 밖에 안 나가서 아직 학습이 안 된 부분일 수 있어 이 부분은 계속 수강하면서 학습하겠습니다.

X_test 가 메모장 내역과 같이 수정이 되면 2482개는 정상 산출 됩니다만, 2)번 질문과 같이 검증데이터에 수정을 가해도

채점 간 문제가 없는 부분인지 문의드립니다. (가능하다면 오히려 저는 시험 볼 때 편할 것 같습니다)

해당 부분만 확인되면 질문이 해결 될 것 같습니다.

[강의에 없는 코드부분]

X_test$총구매액 <- ifelse(X_test$총구매액 < 0 , mean(X_test$총구매액), X_test$총구매액)

X_test$최대구매액 <- ifelse(X_test$최대구매액 < 0 , mean(X_test$최대구매액), X_test$최대구매액)

X_test$환불금액 <- ifelse(is.na(X_test$환불금액), mean(X_test$환불금액, na.rm = T), X_test$환불금액)

[강의내용화면 비교 시 행 뽑는 코드내용만 확인되는 것 같습니다.]

[참조] - 강의와 코드가 다른 부분을 찾아서 안보셔도 되실 것 같습니다. 혹시나 해서 남겨놓습니다.

=======필사 코드를 첨부 드리오니 문제가 있는 부분 확인주시면 감사 드리겠습니다==

library(caret)

library(pROC)

library(dplyr)

library(ModelMetrics)

X_train <- read.csv("C:\\Users\\arong\\Desktop\\r_1900_MSJ\\inflearn2\\X_train.csv", header = T, fileEncoding = "EUC-KR")

Y_train <- read.csv("C:\\Users\\arong\\Desktop\\r_1900_MSJ\\inflearn2\\Y_train.csv", header = T, fileEncoding = "EUC-KR")

X_test <- read.csv("C:\\Users\\arong\\Desktop\\r_1900_MSJ\\inflearn2\\X_test.csv", header = T, fileEncoding = "EUC-KR")

str(X_train)

str(X_test)

str(Y_train)

df <- merge(X_train, Y_train, by = 'cust_id')

str(df)

summary(df)

df <- df %>% select(-c(1,5,6))

str(df)

df$gender <- as.factor(df$gender)

summary(df)

#=============preprocessing=================

df$총구매액 <- ifelse(df$총구매액 < 0, mean(df$총구매액), df$총구매액)

df$최대구매액 <- ifelse(df$최대구매액 < 0, mean(df$최대구매액), df$최대구매액)

df$환불금액 <- ifelse(is.na(df$환불금액), mean(df$환불금액, na.rm=T), df$환불금액)

summary(df)

inx <- createDataPartition(df$gender, p=0.7, list=F)

train <- df[inx,]

test <- df[-inx,]

str(test)

#====================modeling=============

model1 <- train(gender ~ ., data=train, method="glm")

model2 <- train(gender ~ ., data=train, method="rpart")

p1 <- predict(model1, test, type='prob')

p2 <- predict(model2, test, type='prob')

p3 <- (p1+p2)/2

auc(test$gender, p3[,2])

#=======모델선정 및 applying(여기서 충돌이 나는 것 같습니다)==========

model1 <- train(gender ~ ., data=df, method="glm")

model2 <- train(gender ~ ., data=df, method="rpart")

X_test <- X_test %>% select(-c(1,5,6))

(여기서 '환불금액' 열을 모델링에서 제외할 경우(-c(1,4,5,6)) 올바른 예측결과 수가 나옵니다.

p1 <- predict(model1, X_test, type='prob')

p2 <- predict(model2, X_test, type='prob')

p3 <- (p1+p2)/2

head(p3)

#============result input===================

result <- data.frame(Y_N = p3[,2])

#write.csv(result, 'data/123456.csv', row.names=F)

#======== why 871? ==========

summary(X_test)

#=========[번외] X_test 환불금액 결측치를 강제 조정한 경우=========

X_test1 <- X_test

X_test1$환불금액 <- ifelse (is.na(X_test$환불금액), mean(X_test$환불금액, na.rm = T), X_test$환불금액)

model1 <- train(gender ~ ., data=df, method="glm")

model2 <- train(gender ~ ., data=df, method="rpart")

X_test <- X_test %>% select(-c(1,5,6))

p4 <- predict(model1, X_test1, type='prob')

p5 <- predict(model2, X_test1, type='prob')

p6 <- (p4+p5)/2

dim(p6) #2482개 정상적으로 나옴.

선생님 강의를 열심히 듣다가 해결하고 싶은 마음에 글이 길어 진 점 너그러이 양해 부탁드립니다.

감사합니다.