scrapy shell 질문

쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]

작성

146

- 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다)
- 이외의 문의등은 평생강의이므로 양해를 부탁드립니다
- 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다
- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.

scrapy shell 강의 진행중 환경은 제대로 나옵니다.

response.url 도 정상적으로 작동합니다.

그런데 css selector로 데이터를 가져오는 예시를 실행시키면

response에 저장된 모든 데이터들이 출력됩니다 <html>부터 </html>까지요

XPATH로 실행해도 마찬가지로 모든 데이터가 출력됩니다. 

왜 그런지 모르겠네요 ㅠㅠ

scrapy shell 웹 크롤링 bigdata selenium

답변 1

잔재미코딩 DaveLee

지식공유자

안녕하세요.

이게 어떤 챕터의 몇분 몇초를 보시고 말씀하시는 것인지를 몰라서, 정확히는 어떤 이야기를 하시는지 모르겠습니다. response 자체는 모든 데이터가 출력이 될 것이고, css selector 로 지정한 데이터를 특정 변수에 넣으셨다면, 해당 변수를 출력하면, 해당 변수에 있는 내용만 출력되는 것이 맞긴 하거든요.

이게 뭔가 문제가 있다면, 가장 쉬운 것 예를 들어, title 등이나 가장 간단한 태그를 선택해서 한번 해보시면 어떠실까요? 그리고 영상을 다시 보시면서 놓치신 부분이 있으신지, 한번 영상을 차근차근 보시면서, 그대로 쳐보시는 것은 어떠실까요?

KIYAN

질문자

강의는 Scrapy shell 사용법 익히기에 8분 31초 정도에 하는 head > text 로 제목 가져오는 부분부터 막힙니다.

처음에 shelp 명령어는 정상적으로 작동하는데

response.css('head > title').get()

코드를 작성하고 shelp()를 치면

이런식으로 response에 저장된 내용들이 출력되고 shelp()내용이 출력됩니다.

더 설명이 필요하신 부분 있으면 말씀해주세요

인프런 커뮤니티 질문&답변

scrapy shell 질문