인프런 커뮤니티 질문&답변

Suhyun Lee님의 프로필 이미지
Suhyun Lee

작성한 질문수

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기5

두번 쓰면 한번만 작동

작성

·

166

0

안녕하세요.

이미 질문하신 분들의 질문을 다시 또 질문 드리게 되었네요.

3분 47초를 보시면 두번쨰 for 문에서 parse_subcategory로 넘어가는데요. 선생님께서 빨간 네모 치신 부분은 parse_maincategory 입니다. 즉, 잘못보시고 박스치신거 같습니다. 이것은 첫번째 for문에서 parse_maincategory로 넘어가서 거기에 있는 print문을 작동시킨 것 이고요.

그리고 두분의 질문을 읽어보면, 수업 어딘가에서 설명을 하셨다고 하셨는데. 저도 어디서 설명을 하셨는지 기억이 안납니다. 만약 저 혼자만의 기억 문제라면 분명 저의 문제이겠지만. 저 말고도 2명이 더 있다는 것은 너무 빠르게 집고 넘어가셨던가 아니면 선생님께서 편집을 하시다가 잘라낸게 아닌가 생각이 듭니다. 혹시 시간이 되신다면, 편집으로 조금만 집고 넘어가 주셨으면 합니다.

긴 글 읽어 주셔서 감사합니다!

답변 2

1

안녕하세요.

지마켓 크롤링하며, scrapy 실전 활용법 익히기5 영상에, 추가 설명을 붙여서, 업데이트하였습니다.

가장 큰 문제는 parse_subcategory 가 호출이 안될 수 있는 부분이고, 이 부분은 settings 에 다음 설정을 해줘야 하는 것인데요.

DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter'

코드상으로는 이미 해당 설정이 되어 있지만, 제가 드린 코드가 아닌, 직접 작성을 하시다보면, 이 부분이 놓칠 수 있는 부분 같아요. 다른 영상 어디선가 설명은 한 것으로 생각은 하고 있는데, 제가 놓친 것이 아닌가 해서, 다시 한번 많은 시간을 들여서, 녹화와 편집을 다시 하였습니다.

빨간 네모를 친 부분은 강의를 따라가시는데에는 큰 무리가 되는 부분은 아니라서, 위 추가 녹화/편집된 부분이라면, 괜찮을 것 같습니다. 감사합니다.

0

Suhyun Lee님의 프로필 이미지
Suhyun Lee
질문자

빠른 피드백 감사드립니다~

강의를 다시 들었는데 훨씬 이해하기 편하고 매끄럽게 되었다고 느껴집니다.

좋은 금요일 되세요!

Suhyun Lee님의 프로필 이미지
Suhyun Lee

작성한 질문수

질문하기