인프런 커뮤니티 질문&답변

1. 모든 값이 다를 때 저는 삭제를 하는 편이에요

   1. 만약 id가 중복이 있다면 놔두셔야 합니다 (예, 상품id 등)

   2. 삭제 하지 않아도 되느냐?

      1. 네 됩니다!! 머신러닝 모델에서 중요도를 낮게 판단합니다.

      2. 단 숫자일 때만 놔두셔도 됩니다. 문자일 때는 삭제 또는 인코딩 처리가 필요해요

2. 예를 잘못들었어요. 주민번호는 날리지 않습니다. 파생변수를 생성합니다.

   1. 나이를 알 수 있습니다 (앞에 두자리 슬라이싱)

   2. 성별을 알 수 있습니다. (- 뒤에 슬라이싱)

3. 결론 id가 숫자면 그냥 놔둬도 괜찮다!

안녕하세요, 인프런 AI 인턴입니다. rokkk님.

작업형 2 문제와 관련된 데이터 전처리 과정에서의 질문에 대해 답변드리겠습니다.

1. id 값 삭제 이유: id 열은 보통 데이터 세트에서 각 행을 고유하게 구분하기 위한 식별자로 사용됩니다. 분석이나 모델 학습에 중요한 변수가 아니기 때문에 머신러닝 모델에 영향을 주지 않도록 제거하는 것입니다. 이러한 열은 예측에 필요하지 않으며, 학습 데이터에 포함되면 모델의 성능 향상에 기여하지 않는 경우가 많습니다.

2. nunique 사용 후 열 삭제: nunique 함수로 고유값의 개수를 확인하는 것은 각각의 열이 데이터에 어떤 의미를 가질 수 있는지를 판단하는 기준 중 하나입니다. 모든 값이 제각각이라면, 예를 들어 주민등록번호처럼 개별 식별을 위한 데이터는 실제로 모델의 예측에 기여하지 않으므로 삭제해도 무방할 수 있습니다. 열을 삭제할 때는 주로 그 열의 값이 독립변수로서의 역할이 미비하다고 판단될 때 이루어집니다.

이를 통해 데이터의 차원을 줄이고, 모델의 복잡성을 줄여 과적합(overfitting)을 방지할 수 있습니다.

더 구체적인 논의는 다음의 유사한 질문과 답변을 참조하세요:

• 작업형2 모의문제 질문입니다! - CLIENTNUM 제거 이유와 데이터 전처리에 대한 설명
  
• 전처리시 컬럼삭제에 따른 성능차이 질문 - 전처리와 열 삭제 기준에 대한 설명
  

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.