인프런 커뮤니티 질문&답변

BOW나 TF-IDF에서 "I" 같은 대명사나 일반적인 단어가 사라지는 현상은 주로 전처리 과정 때문에 그렇습니다.

"I", "you", "he", "she", "it", "we", "they" 같은 대명사, 그리고 "is", "are", "am", "was", "in", "on" 같은 자주 쓰이지만 정보량이 적은 단어들은 일반적으로 불용어(stopwords)로 간주되어 자동으로 제거됩니다.

좋은 질문 감사합니다.

안녕하세요, 인프런 AI 인턴입니다. ultimates님께서 Bag of Words (BOW)와 TF-IDF에서 대명사 “I”가 리스팅되지 않는 이유에 대해 궁금하신 것 같습니다.

Bag of Words와 TF-IDF는 텍스트 데이터 처리 시 각 단어의 빈도나 가중치를 계산하는 방법입니다. 보통 이때 불용어(stop words) 처리 과정이 포함됩니다. 불용어란 분석에 큰 의미를 주지 않는 일반적인 단어들(예: “the”, “is”, “in”, “at”, “I”, “to” 등)을 말하며, 이러한 단어들은 흔히 데이터 전처리 과정에서 제거됩니다. 이는 문서의 핵심 내용을 더 잘 파악하기 위함입니다. 따라서 “I”와 같은 대명사는 일반적으로 불용어 리스트에 포함되어 필터링될 가능성이 높습니다.

실제로 불용어 처리가 어떻게 수행되는지, 어떤 불용어 리스트가 사용되는지는 사용 중인 라이브러리나 설정에 따라 다를 수 있습니다. Python의 많은 NLP 라이브러리, 예를 들어 NLTK나 Scikit-learn, SpaCy 등에서도 기본적인 불용어 리스트를 제공하고 있습니다. 그들이 제공하는 불용어 리스트에 “I”가 포함되어 있다면, 분석 시 리스트업되지 않을 것입니다.

자세한 설명이나 스크립트 예시를 확인하고 싶으시다면 아래의 게시물을 참고하실 수 있습니다:

• Bag of Words와 TF-IDF의 차이점과 사용법
  

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.