작성
·
121
0
선생님 안녕하세요
좋은 강의 감사합니다.
linear regression(statsmodel)에 PCA를 적용하여 test 데이터로 예측하는 경우에 질문이 있습니다.
예를 들어, 기존의 20개의 피쳐 --> PCA를 통해 10개의 새로운 피쳐(x1~x10)를 추출했다고 가정하고,
이 중에 statsmodel로 linear regression 을 돌렸는데, 이 중 x6, x7, x8 의 p_value 가 0.05 이상이어서 유의미한 피쳐가 아니라고 볼 수 있는 상황입니다.
그러면 test 데이터(valid 데이터 아님)를 가지고 실제로 예측을 해야 하는 상황에서는,
test 데이터를 가지고 PCA를 돌려서 10개의 새로운 피쳐를 추출
그 중에 x1~x5, x9, x10 --> 7개의 피쳐를 추출하고, train 데이터에서 나온 7개의 coef 를 가지고 만들어진 선형 모델로 예측 수행
을 하면 되는 것이 맞나요?
제가 궁금한 것은 PCA를 사용하여 나온 피쳐 중 일부만을 사용하는 경우에도, train 을 통해 나온 coef 를 pca로 변환한 test 데이터에 사용할 수 있는지 여부 입니다.
감사합니다.
답변 1
0
안녕하십니까,
오, 통계를 잘 아시니, 이런 방법도 생각해 내실 수 있군요.
이론적으로 안될 이유는 없어보입니다. 다만 저는 이런 방법을 머신러닝에 적용해 본적이 없습니다. 그리고 머신러닝은 굳이 p value를 사용하지 않습니다.
말씀하신 방식은 4장 마지막쯤에 언급드린 피처 셀렉션을 적용하시면 될 거 같습니다. 전반적인 차이는 크게 없습니다.
감사합니다.