인프런 커뮤니티 질문&답변

하록님의 프로필 이미지
하록

작성한 질문수

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

ROBOTSTXT_OBEY 와 DUPEFILTER_CLASS

작성

·

183

0

settings.py의 ROBOTSTXT_OBEY 와 DUPEFILTER_CLASS의 역할에 대해 한번만 더 설명해주시면 감사드리겠습니다.

 

'실전 크롤링: gmarket 크롤링하며, scrapy 실전 활용법 익히기5' 편의 09:19 쯤에 미리 작성하셨다고(?) 언급하신 것 같은데 하다보니 궁금해졌습니다.

 

감사합니다!

답변 1

0

하록님의 프로필 이미지
하록
질문자

ROBOTTXT는 다다음 강좌에 나오네요...ㅎ DUPEFILTER_CLASS만 부탁드립니다!

감사합니다.

하록님의 프로필 이미지
하록

작성한 질문수

질문하기