get_text() 를 사용하여 크롤링 시 None 처리 방법

파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)

프로젝트: 크롤링 + 엑셀 보고서까지 자동으로 만들며 익히는 프로그래밍1 (업데이트)

작성

439

첨부 사진과 같이 내용이 None 으로 처리되는 경우 어떻게 처리를 해야할까요?

웹 크롤링 python

답변 3

ufrates

'div.s-price > strong'이나 'ul > li' 에서 class 와 > 사이에 빈칸 적용하면 해당 에러는 발생하지 않는 것 같습니다 :) 제 경우에서요...ㅎㅎ

minjoon An

data.get_text() 로는 NoneType으로 나오는것도 data.string을 하면 제대로 나오기도 하더군요..

초보라 이유는 모르겠습니다.ㅜㅜ

잔재미코딩 DaveLee

지식공유자

안녕하세요. get_text()가 NoneType 이라는 이야기는 해당 변수에 크롤링한 데이터가 없다는 뜻입니다.

예를 들어, data.get_text() 를 호출하는데, data 자체가 해당 태그가 없어서, 추출되지 않았을 경우,

data 변수 자체가 None 이되어, None의 get_text()를 호출하는 것 자체가 불가능해집니다.

이 부분은 크롤링해서 추출하려는 데이터가 변수에 넣어지지 않았다는 뜻입니다. 아마도 해당 크롤링의 예에서 수많은 상품을 크롤링 시도를 해보다보니, 그 중 특정 상품에 특정 태그가 없어서 그런 것으로 보여지고, 그렇다면 어느 상품에서 이런 일이 일어났는지 그 상품의 html 코드는 어떻게 되는지 확인해볼 필요가 있습니다.

인프런 커뮤니티 질문&답변

get_text() 를 사용하여 크롤링 시 None 처리 방법