인프런 커뮤니티 질문&답변

안녕하세요. 개인적으로 스크래핑 기술로 간단한 앱을 만들어보고 싶어서 이 강좌를 수강하고 있습니다. response.get 으로 스크래핑이 제대로 실행이 되지 않는 사이트들도 있나요?

이를 테면, 밑의 코드를 보면 프린트 값이 빈 [] 이거나 아무값이 표시되지 않습니다. 이러한 경우에는 어떻게 해야하나요?

import requests
import pyautogui
from bs4 import BeautifulSoup

# keyword = pyautogui.prompt('USE YOUR HEAD AND SEARCH IT.')

# response = requests.get(f"https://search.naver.com/search.naver?where=news&ie=utf8&sm=nws_hty&query={keyword}")
response = requests.get("https://www.fromjapan.co.jp/en/item/search/kaptain+sunshine/Al_11_Yh_RaSuBpOmRm_N_N_0A00ja00_N/lgk-link_top_search")
html = response.text
soup = BeautifulSoup(html, "html.parser")

items = soup.select(".shop-item")
print(items)
for item in items:
    print(item)