작성
·
205
0
안녕하세요 덕분에 크롤링 강의를 공부할 수 있었고 그 후 네이버맵 식당관련정보를 크롤링하려고 하는데 문제가 생겨 고생고생하다가 질문글을 남깁니다!
데이터가 많아 구글링을 통해 멀티프로세싱으로 여러창을 띄워서 크롤링을 할 수 있었는데요
if __name__ == "__main__":
start_time = time.time()
num_cores = 6
pool = multiprocessing.Pool(num_cores)
# 검색어 배열
keywords = ['서울숲 식당',
'건대 식당',
'성수 식당',
'홍대 식당',
'신촌 식당',
'이대 식당',
'상수 식당',
'합정 식당',
'한남 식당',
'명동 식당']
pool.map(get_data,keywords)
pool.close()
pool.join()
# print(" ----------------------------------------- ")
# print(" 실행 소요 시간 : 단위(초) ")
# print(" ----------------------------------------- ")
# print(time.time() - start_time)
# print(" ----------------------------------------- ")
conn.close()
이런식으로 메인함수를 작성하고 get_data함수는
def get_data(keyword):
browser = webdriver.Chrome()
table_nm = ""
type = ''
URL = 'https://map.naver.com/v5/search/' + keyword
print(URL)
browser.get(URL)
browser.implicitly_wait(10)
browser.maximize_window()
# iframe(searchIframe) 전환
switch_frame("searchIframe",browser)
# iframe 안쪽을 한번 클릭하기
browser.find_element(By.CSS_SELECTOR,"#_pcmap_list_scroll_container").click()
키워드를 받아 해당위치 식당을 검색하고 그 후 크롤링을 이어나가는 상황입니다.
그런데 여러창이 띄워져서 처음에 https://map.naver.com/v5/search/홍대 식당
이런식으로 들어가면
자동화된 크롬창에서 정보들이 뜨지 않는 문제를 겪고 있습니다
구글링해봐도 저와같은 문제상황을 찾지 못했습니다
도와주시면 정말 감사하겠습니다!!