인프런 커뮤니티 질문&답변

'''
네이버지도에 표시되는 순서대로
순위, 가게명, 별점, 방문자리뷰수, 블로그리뷰수를 엑셀에 저장(1페이지만)
주의사항
광고는 제외, 별점이 있는 가게만 크롤링한다.
방문자 리뷰가 없다면 0으로 수집, 블로그 리뷰가 없다면 0으로 수집한다.
iframe을 만났을때 대처방법.
무한 스크롤 처리 방법 고민.
'''

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import pyautogui
import time
from bs4 import BeautifulSoup
import openpyxl

#크롬 드라이버 자동 업데이트
from webdriver_manager.chrome import ChromeDriverManager

header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36',
}

keyword = pyautogui.prompt("검색어를 입력하세요>>>")

wb = openpyxl.Workbook()
ws = wb.create_sheet(keyword)
ws.append(["순위","가게명","별점","방문자 리뷰수","블로그 리뷰수"])

chrome_options = Options()
#브라우저 꺼짐 방지
chrome_options.add_experimental_option("detach", True)
#불필요한 에러 메시지 없애기
chrome_options.add_experimental_option("excludeSwitches", ["enable-logging"]) # 셀레니움 로그 무시

serivce = Service(executable_path=ChromeDriverManager().install())
browser = webdriver.Chrome(service=serivce, options=chrome_options)

#웹페이지 해당 주소 이동
browser.implicitly_wait(5)
browser.maximize_window()
browser.get("https://map.naver.com/p?c=15.00,0,0,0,dh")

search = browser.find_element(By.CSS_SELECTOR,".input_search")
search.click()
time.sleep(1)
search.send_keys(f"{keyword}")
time.sleep(1)
search.send_keys(Keys.ENTER)
time.sleep(1)

#iframe 안으로 들어가기
browser.switch_to.frame("searchIframe")

#iframe 밖으로 나오기
#browser.switch_to.default_content()

browser.find_element(By.CSS_SELECTOR,"#_pcmap_list_scroll_container").click()

lists = browser.find_elements(By.CSS_SELECTOR,"li.UEzoS")
before_scroll = len(lists)

while True : 
    before_scroll = len(lists)
    for i in range(0,10) :
        browser.find_element(By.CSS_SELECTOR,"body").send_keys(Keys.PAGE_DOWN)    

    time.sleep(0.5)
    
    lists = browser.find_elements(By.CSS_SELECTOR,"li.UEzoS")
    after_scroll = len(lists)

    if before_scroll == after_scroll :
        break

    #    lists = browser.find_elements(By.CSS_SELECTOR,"li.UEzoS.rTjJo")

print(f"총 {after_scroll}개의 가게가 있습니다.")

num = 0

for list in lists :
    if len(list.find_elements(By.CSS_SELECTOR,"li>a.gU6bV")) == 0 :
        
        store = list.find_element(By.CSS_SELECTOR,"span.TYaxT")
        browser.execute_script("arguments[0].click();", store)

        time.sleep(1)

        browser.switch_to.default_content()
        browser.switch_to.frame("entryIframe")

#        html_entry = browser.page_source
#        soup_entry = BeautifulSoup(html_entry, 'html.parser')

        if len(browser.find_elements(By.CSS_SELECTOR,"#app-root > div > div > div > div.place_section.OP4V8 > div.zD5Nm.f7aZ0 > div.dAsGb > span.PXMot.LXIwF")) > 0 : 
            num += 1

            title = browser.find_element(By.CSS_SELECTOR,".Fc1rA").text
            stars = float(browser.find_element(By.CSS_SELECTOR,".LXIwF > em").text)
            visitor_review = browser.find_element(By.CSS_SELECTOR,"div.dAsGb > span:nth-child(2)").text
            blog_review = browser.find_element(By.CSS_SELECTOR,"div.dAsGb > span:nth-child(3)").text
            
            visitor_review = int(visitor_review.replace("방문자리뷰 ","").replace(",",""))
            blog_review = int(blog_review.replace("블로그리뷰 ","").replace(",",""))
    
            print(num,title,stars,visitor_review,blog_review)
            ws.append([num,title,stars,visitor_review,blog_review])

        browser.switch_to.default_content()
        browser.switch_to.frame("searchIframe")
        
wb.save(f"/Chapter05/{keyword}.xlsx")


        

안녕하세요 강사님.

현재 네이버 지도에서 강남역 맛집을 검색하면 강의 노트와 같이 방문자 리뷰, 블로그 리뷰를 크롤링하기 위해서는 해당 가게를 클릭하고 그 iframe으로 들어가서 데이터를 받아와야합니다.

그래서 위와 같이 코드를 작성하였는데요.

문제는 가게이름 클릭 후 페이지 로딩을 고려한 지연시간을 1초 밖에 안줬는데. 가게이름, 별점, 리뷰수를 읽어오는데 굉장히 오래걸립니다.(5~6초 이상 소요). 이 때문에 전체 리스트에 대한 정보를 받아오는 시간이 너무 많이 소요되는데요.

혹시 이를 개선할수있는 방안이 있을까요?