scrapy 동적 웹페이지

인프런 커뮤니티 질문&답변

작성한 질문수

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

작성

441

안녕하세요 강의 정말 잘 보고 있습니다 ㅎㅎ

내용을 쉽게 설명해주셔서 바로바로 이해하면서 열심히 공부하고 있습니다.

다름이 아니라 scrapy에 selenium을 응용하여 동적 웹페이지를 크롤링 하려하는데

가이드 라인이 있으면 좋을거 같아서 이렇게 질문드려봅니다.

selenium에서의 response를 scrapy에서 이용 할 수 있지 않을까 생각하는데

scrapy 에서 selenium을 이용하여 동적웹페이지를 크롤링 하는 정말 간단한 소스 하나만 예제로 볼 수 있을까요

답변 2

질문자

감사합니다!!

지식공유자

안녕하세요.

scrapy에서는 동적웹페이지라도 가능한 정적웹페이지처럼 방법을 찾아서, 크롤링하긴 하는데요. 찾아보니 다음과 같은 별도 추가 라이브러리가 있네요. 다음 내용과 링크를 참고하시면, 좋을 것 같습니다. 이정도라도 조금이나마 도움이 되시면 좋을 것 같습니다. 감사합니다.

우선 위 링크에 기재된 대로, 몇가지 설정을 해준 후에,

scrapy 프로젝트에서, request 대신에, SeleniumRequest를 사용하고,

from scrapy_selenium import SeleniumRequest

yield SeleniumRequest(url=url, callback=self.parse_result)

response.request.meta['driver'] 를 통해 selenium driver를 로드해서, 동적웹페이지도 크롤링이 가능한 것으로 보입니다.

def parse_result(self, response):
    print(response.request.meta['driver'].title)

작성한 질문수