인프런 커뮤니티 질문&답변
작성한 질문수
추출한 데이터 자체의 문제에 대해 궁금합니다.
작성
·
26
0
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!
- 먼저 유사한 질문이 있었는지 검색해보세요.
- 서로 예의를 지키며 존중하는 문화를 만들어가요.
- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
RISS의 주제저를 추출하는 부분에서 파이썬을 이용한 크롤링은 잘 되었습니다. 하지만 크롤링한 데이터를 보니 웹에는 표시되지 않는 문자들이 같이 출력되었습니다. 저만 이런 문자가 추가로 붙었는지 궁금해서 강사님의 강의도 보니 강사님의 강의에서도 똑같이 추출한 데이터에서 문자가 추가된 것을 확인할 수 있었습니다.
마지막 줄에 AI하고 \u3000 이라는 문자가 추가되었는데 외주를 할 때 이런 오류는 문제가 되지 않는지 궁금합니다.
답변 1
0
스타트코딩
지식공유자
데이터를 크롤링했을 때 웹에 표시되지 않는 특수문자(예: \u3000 등)가 포함되는 현상은 종종 발생할 수도 있어요 ㅎㅎ
이러한 특수문자는 원본 웹페이지의
인코딩이나 HTML 소스에 숨겨져 있는 공백·분리 기호 등 때문인데,
보통 간단한 후처리를 통해 제거하거나,
필요한 경우 적절한 문자로 치환해주면 문제없이 사용할 수 있습니다.
1. 문자열 치환(replace)으로 제거하기
text = text.replace('\u3000', '') # 해당 특수문자 제거
2. 정규표현식으로 처리하기
import re
# 유니코드 범위를 지정해서 제거하기 (예: \u3000 ~ \u303F 범위 등)
pattern = re.compile(r'[\u3000-\u303F]+')
cleaned_text = pattern.sub('', text)