start_urls = ['']가 제공해주신 것과 다르게 작동합니... - 인프런

쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]

Scrapy 다양한 사용법: Scrapy 로 네이버 Open API 크롤링하기1

start_urls = ['']가 제공해주신 것과 다르게 작동합니다.

작성

196

영상의 8분 즈음에서

cmd 창에서,

C:\Users\junyo\잔재미코딩\최종 복습\mynaverapi\mynaverapi>scrapy genspider navershopapi openapi.naver.com/v1/search/shop.json

작성하면, cmd 창에

Created spider 'navershopapi' using template 'basic' in module:

mynaverapi.spiders.navershopapi

이렇게 뜨고, navershopapi.py가 생성됩니다.

navershopapi.py 파일을 보면

class NavershopapiSpider(scrapy.Spider):
    name = 'navershopapi'
    allowed_domains = ['openapi.naver.com']
    start_urls = ['http://openapi.naver.com/']

이렇게 뜹니다.

제공해주신 파일의 navershopapi.py 에서는

class NavershopapiSpider(scrapy.Spider):
    name = 'navershopapi'
    allowed_domains = ['openapi.naver.com/v1/search/shop.json']
    start_urls = ['https://openapi.naver.com/v1/search/shop.json']
 
 

처럼 start_urls가 다르게 나옵니다.

물론, 제공한 파일의 start_urls로 변경해서 저장한 뒤에 실행하면 문제 없습니다.

다만, 왜 start_urls에 제가 cmd 창에서 명령한 대로 작동되지 않는 지 궁금합니다.

웹 크롤링 selenium scrapy bigdata

답변 2

가후

같은 증상이었는데, 이글을 보고 잘해결되었습니다. 감사합니다.

잔재미코딩 DaveLee

지식공유자

안녕하세요.

말씀해주셔서, 저도 동일하게 영상과 같이 실행을 해보았어요.

영상과 같이 다음과 같이 명령을 수행하였고요.

scrapy genspider navershopapi openapi.naver.com/v1/search/shop.json

spiders 폴더 내의 navershopapi.py 파일을 보니, 다음과 같이 보여져서요. 제공해드린 파일과 유사하게 나오고 있어서요. 말씀하신대로 openapi.naver.com 으로만 나오지는 않습니다. 물론 start_urls 는 자동으로 http:// 으로 붙어있어서, https:// 로 직접 수정해주셔도 좋은데요. 기본적으로는 유사하게 동작하는 것은 확인하였고, 혹시라도 수강생님의 PC 에서는 정상동작하지 않는다면, start_urls 를 직접 수정해주셔도 진행하시는데는 이슈는 없습니다.

# -*- coding: utf-8 -*-

import scrapy

class NavershopapiSpider(scrapy.Spider):

name = 'navershopapi'

allowed_domains = ['openapi.naver.com/v1/search/shop.json']

start_urls = ['http://openapi.naver.com/v1/search/shop.json/']

def parse(self, response):

pass

감사합니다.

인프런 커뮤니티 질문&답변

start_urls = ['']가 제공해주신 것과 다르게 작동합니다.