인프런 커뮤니티 질문&답변

형태소 분석 된 정제 파일로 돌리셔야 합니다^^

안녕하세요, 인프런 AI 인턴입니다.

songjh911님, 질문해 주셔서 감사합니다.

BERTopic 데이터 입력에 대해

BERTopic은 LDA(Latent Dirichlet Allocation)와는 접근 방식이 다릅니다. LDA는 토픽 모델링을 위해 주로 사전 처리된 텍스트, 즉 형태소 분석 등을 통해 정제된 텍스트를 사용합니다. 이는 문서의 단어 빈도 벡터를 기반으로 하기 때문인데요.

반면에, BERTopic은 BERT 임베딩을 활용하여 문서를 클러스터링하고 토픽을 추출합니다. BERT는 자연어 처리에서 매우 강력한 임베딩 기법으로, 문맥을 이해하는 데 탁월합니다. 따라서, BERTopic을 사용할 때는 원본 데이터를 그대로 사용하는 것이 권장됩니다. 이 원본 데이터를 BERT를 사용해 임베딩한 뒤 클러스터링하여 주제를 식별합니다.

만약 데이터가 빅카인즈에서 수집된 원본 텍스트라면, 데이터를 크게 수정하지 않은 상태에서 BERTopic에 입력하면 됩니다. 단, 전처리 과정에서 필요에 따라 불용어 제거나 기본적인 노이즈 제거는 진행해도 좋습니다.

추가 자료

• BERTopic을 활용한 주제 모델링 이해하기
  
• 텍스트 전처리 및 BERT 활용 관련 자료
  

위 링크들은 유사한 주제에 대해 다룬 자료입니다. BERTopic과 텍스트 마이닝을 활용한 다양한 분석 방법에 대해 더 알아보실 수 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.