작성한 질문수
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
해결된 질문
작성
·
26
0
안녕하세요.
작업2에서 인코딩할때 혹시 모를 경우를 대비해
df=concat[train,test]로 합치고 나서 인코딩을 한후 쪼개는 방식으로 진행하고 있는데
스케일링의 경우에도
train에서 fit_transform , test에서 transform을 하지 않고
df로 합치고 나서 fit_transform만 해도 괜찮을까요?
train이랑 df랑 데이터 분포가 다르니까 스케일링 되는 정도도 다를것 같은데
합치고 해도 상관없을지 궁금합니다.
감사합니다
답변 1
네, 빅분기 시험에서는 코드를 평가하지 않기 때문에 상관없습니다.
[심화학습]
시험과는 별개로 test데이터를 활용하는 방법은 Data Leakage 문제가 있어 실제 상황에서는 문제가 있습니다.
Data Leakage
인코딩도 합쳐서 진행하기 보다 없는 컬럼은 별도로 처리하는 OrdinalEncoder 등을 사용해요! 시험문제에서는 더 복잡해지기만 해서 알려드리진 않았어요