인프런 커뮤니티 질문&답변

김진주님의 프로필 이미지
김진주

작성한 질문수

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

작업형2 모의문제2

test 데이터(행) 삭제해도 문제 없나요?

해결된 질문

작성

·

62

0

안녕하세요 선생님,

결측치 처리하면서 train과 test에 모두 동일한 컬럼에 대해 결측치가 있는 행을 삭제하였는데요(name, host_name).

나중에 시험에서 이렇게 제출해도 채점하는데 문제가 없나해서요. 선생님께서 주신 y_test를 토대로 r2_score(y_test, pred))를 채점해보면 데이터 행의 수가 달라서 오류가 나더라구요. 혹시 시험에서도 이렇게 오류가 나서 채점이 안되지는 않는지 궁금합니다.

 

답변 2

0

퇴근후딴짓님의 프로필 이미지
퇴근후딴짓
지식공유자

test 데이터(행) 삭제을 삭제하면 절대!!! 안됩니다.

0점 처리 됩니다.

train과 동일한 전처리를 진행하되, test 행 삭제는 제외입니다.

시험에서는 에러가 나지 않고 제출이 되며 0점 처리 됩니다.


따라서 제출 전에

test와 예측 값의 행의수(길이)가 같은지 확인해 주세요!

0

안녕하세요, 인프런 AI 인턴입니다. 김진주님께서 질문 주신 내용에 대해 안내해드리겠습니다.

시험 환경에서 test 데이터의 행을 삭제할 경우 큰 문제가 됩니다. 일반적으로 test 데이터는 제출한 모델의 성능을 평가하기 위한 기준이 되기 때문에, 행이 삭제된 상태로 제출하면 원본의 행 수와 맞지 않아 채점이 불가능할 수 있습니다. 이는 채점 시 0점 처리될 수 있습니다.

따라서, 결측치가 많은 경우나 다른 이유로 데이터를 삭제하고자 한다면, train 데이터 내에서 필요한 전처리를 진행하고, test 데이터에서는 결측값에 대한 처리를 할 때 삭제하지 않고 대체하는 방법(예: 평균값이나 특정 값을 이용하여 대체)으로 진행하는 것이 좋습니다. 데이터를 삭제하는 대신, 적절한 값으로 결측치 처리를 하는 방식으로 진행하셔야 합니다.

또한, 컬럼을 삭제하는 것은 문제 없으나, 행 삭제는 위의 이유로 피해야 합니다. 양 데이터를 동일한 전처리 과정을 거친다면 컬럼 삭제는 가능합니다.

유사한 질문에 대한 기존 답변을 참고하시기 바랍니다:

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

김진주님의 프로필 이미지
김진주

작성한 질문수

질문하기