인프런 커뮤니티 질문&답변

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
# from selenium.webdriver.chrome.service import Service
# from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import requests
from bs4 import BeautifulSoup
import time

options = Options()

user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"

options.add_argument(f"user-agent={user_agent}")

options.add_experimental_option("detach", True)

driver = webdriver.Chrome(options=options)

url = "https://kream.co.kr/search?shop_category_id=34"

driver.get(url)
time.sleep(2)

for i in range(1):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")
    time.sleep(2)

html = driver.page_source

soup = BeautifulSoup(html, "html.parser")

items = soup.select(".product_card")

for item in items:
    brand = item.select_one(".product_info_brand.brand")
    name = item.select_one(".translated_name")
    link = item.select_one(".item_inner").attrs['href']

    click = name.text
    driver.find_element(By.PARTIAL_LINK_TEXT, click).send_keys(Keys.CONTROL+Keys.ENTER)
    time.sleep(1)

    driver.switch_to.window(driver.window_handles[-1])

    html = driver.page_source

    soup2 = BeautifulSoup(html, "html.parser")

    model_num = soup2.select_one("div:nth-child(3) > div.product_info")

    print(brand.text.strip())
    print(name.text)
    print(model_num.text.strip())
    print(f"https://kream.co.kr{link}")
    print()
       
    driver.close()
    driver.switch_to.window(driver.window_handles[0])

아무것도 모르는 상태에서 시작했는데 좋은 강의 올려주신 덕분에 크롤링을 조금이나마 맛보게 된 것 같습니다.

어설프게나마 완성은 한거 같은데 궁금한게 있어서 질문 남깁니다.

상품 링크를 타고 들어가야 원하는 정보를 긁어올 수 있는 사이트인데, 자바스크립트로 동작하게끔 되어 있습니다.

시행착오 끝에 셀레니움으로 동작을 시켜봤는데

제품 하나하나마다 새창을 열어서 정보를 가져온 후에 창을 닫고.. 다시 새창을 열어서 정보를 가져온 후에 창을 닫고..

하다보니 시간도 너무 오래 걸리고 이렇게 하는게 맞는 건지 의구심이 듭니다.

어떻게 해야 속도를 높힐 수 있을까요?