인프런 커뮤니티 질문&답변

heebum417님의 프로필 이미지
heebum417

작성한 질문수

[2024 개정판] 이것이 진짜 크롤링이다 - 기본편

네이버맵 크롤링 오류

작성

·

205

0

안녕하세요 덕분에 크롤링 강의를 공부할 수 있었고 그 후 네이버맵 식당관련정보를 크롤링하려고 하는데 문제가 생겨 고생고생하다가 질문글을 남깁니다!

데이터가 많아 구글링을 통해 멀티프로세싱으로 여러창을 띄워서 크롤링을 할 수 있었는데요

if __name__ == "__main__":

    start_time = time.time()

    num_cores = 6
    pool = multiprocessing.Pool(num_cores)
    # 검색어 배열

    keywords = ['서울숲 식당',
                '건대 식당',
                '성수 식당',
                '홍대 식당',
                '신촌 식당',
                '이대 식당',
                '상수 식당',
                '합정 식당',
                '한남 식당',
                '명동 식당']

    pool.map(get_data,keywords)

    pool.close()
    pool.join()
    # print(" ----------------------------------------- ")
    # print(" 실행 소요 시간 : 단위(초) ")
    # print(" ----------------------------------------- ")
    # print(time.time() - start_time)
    # print(" ----------------------------------------- ")

    conn.close()

이런식으로 메인함수를 작성하고 get_data함수는

def get_data(keyword):

    browser = webdriver.Chrome()
    table_nm = ""
    type = ''
    URL = 'https://map.naver.com/v5/search/' + keyword
    print(URL)


    browser.get(URL)
    browser.implicitly_wait(10)
    browser.maximize_window()

    # iframe(searchIframe) 전환
    switch_frame("searchIframe",browser)

    # iframe 안쪽을 한번 클릭하기
    browser.find_element(By.CSS_SELECTOR,"#_pcmap_list_scroll_container").click()

키워드를 받아 해당위치 식당을 검색하고 그 후 크롤링을 이어나가는 상황입니다.

그런데 여러창이 띄워져서 처음에 https://map.naver.com/v5/search/홍대 식당

이런식으로 들어가면

자동화된 크롬창에서 정보들이 뜨지 않는 문제를 겪고 있습니다

구글링해봐도 저와같은 문제상황을 찾지 못했습니다

도와주시면 정말 감사하겠습니다!!

답변 1

0

스타트코딩님의 프로필 이미지
스타트코딩
지식공유자

규정상 강의 내용 외 질문은

실전편 수강생들에게만 제공하고 있습니다~

heebum417님의 프로필 이미지
heebum417

작성한 질문수

질문하기