묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
headless option 질문
안녕하세요. headless 개념 설명 이해 강의 14강 12:20 에서 options 에 여러 옵션을 add하는 부분이 있는데요! lang = ko_KR 옵션은 관계가 ' = ' 으로 되어 있고 User-Agent : 옵션은 관계가 ' : ' 으로 되어 있는데 어떤 상황에서 ' = ' 과 ' : ' 를 쓰는건지 헷갈립니다. 구글에 쳐봤는데 제가 잘 못 찾는 건지.. 자료를 찾기 힘들어서요. 각 관계표시가 어떤 상황에서 쓰이는건지 차이점을 알고 싶습니다. 항상 좋은 강의 감사합니다 :)
-
미해결
Python Selenium code 관련 질문드려요
from selenium import webdriver driver = webdriver.Chrome('C:/Users/estee/Desktop/파이썬 작업물/chromedriver.exe') import time # 주소모음 naver_GIBH = "https://map.naver.com/v5/search/%EA%B5%AC%EC%8A%A4%EC%95%84%EC%9D%BC%EB%9E%9C%EB%93%9C%20%EB%B8%8C%EB%A3%A8%ED%95%98%EC%9A%B0%EC%8A%A4/place/505375149?c=14140682.3022615,4508106.9534795,15,0,0,0,dh" naver_GBK = "https://map.naver.com/v5/entry/place/996095686?c=14133872.9335375,4519631.0127127,15,0,0,0,dh" naver_YONGSAN = "https://map.naver.com/v5/entry/place/1905880476?c=14133837.3558283,4513226.0701902,15,0,0,0,dh" naver_adresses = [naver_GIBH, naver_GBK, naver_YONGSAN] # 평점과 리뷰 크롤링 for adress in naver_adresses : driver.get(adress) driver.implicitly_wait(10) driver.switch_to.frame('entryIframe') rating = driver.find_element_by_xpath('//*[@id="app-root"]/div/div/div[2]/div[1]/div/div/div[1]/div/span[1]').text submenu_name = driver.find_element_by_xpath('//*[@id="app-root"]/div/div/div[2]/div[3]/div/div/div/div/a[3]/span').text # 메뉴가 5개 나올 때는, 4번째 탭을 이용하고, 메뉴가 4개 나올 때는 3번째 탭을 이용 if submenu_name != "리뷰" : driver.find_element_by_xpath('//*[@id="app-root"]/div/div/div[2]/div[3]/div/div/div/div/a[4]/span').click() else : driver.find_element_by_xpath('//*[@id="app-root"]/div/div/div[2]/div[3]/div/div/div/div/a[3]/span').click() # 리뷰개수 print( driver.find_element_by_xpath('//*[@id="app-root"]/div/div/div[2]/div[5]/div[4]/div[3]/h2/span').text ) driver.close() 해당 코드는 네이버 지도의 각 매장 별 리뷰 개수를 가지고 오는 코드에요. naver_GIBH , naver_GBK 링크는 리뷰 개수를 불러오는데, 마지막 naver_YONGSAN 링크의 리뷰 개수는 들고오지 못하더라구요. 혹시 이 코드에 관해 봐주실 수 있을까요 ? + 추가 질문인데, 제가 Selenium을 통해서 리뷰개수를 찾아오는 방식은 selenium으로 리뷰 탭을 선택하고 나서, 들고 오는 거에요. 근데 네이버 지도가 인스타그램처럼 스크롤을 내리면 정보를 불러오는 방식으로 설계되어 있더라구요. 혹시 이와 관련해서 Selenium으로 클릭하지 않고, crawling 하는 방법이 따로 있을지도 질문드려요 .
-
미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
가상환경에서 selenium import
안녕하세요 . crawling 수업시 가상환경 생성하여 수업진행하셔서 저도 따라서 진행하고 있는데요. 가상환경에서 from selenium import webdriver 명령 입력시 하기와 같은 에러가 발생합니다.. ModuleNotFoundError: No module named 'selenium' selenium 설치되어있는것을 anaconda prompt에서 확인했는데도 계속 오류가 발생하길래 이상해서 가상환경을 종료하고 (base) 환경에서 selenium을 import하니 정상적으로 작동하네요.. 혹시 가상환경에서는 selenium이 작동되지 않는건가요?? 아니면 해결방법이 따로 있는건가요?? 아시는 부분 있으시면 알려주시면 감사하겠습니다.
-
미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
lxml 오류
pip install lxml 시행하였는데 아래와 같은 오류가 발생하였습니다. 어떻게 해야하나요?
-
미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
현재 네이버 항공권 셀레니움
현재 셀레니움을 공부하고 있습니다 너무 감사합니다 질좋은강의 최고입니다. 유료보다 좋은 무료라니... 천사이십니다... 저 지금 네이버 항공권 이미지가 조금 달려졌는데 browser.find_element_by_link_text("가는 날").click()이라고 하니 NoSuchElementException이 발생했습니다 왜이런건지 이해를 못하겠습니다
-
미해결
파이썬 셀레니움 send_keys 질문
driver.find_element_by_xpath('/html/body/div[2]/form/div/section/div/div[3]/p[2]/input').send_keys('5950') #금액 입력 안녕하세요 파이썬, 셀레니움을 이용해서 웹페이지 자동화를 하고 있습니다. click, send_keys가 다 정상적으로 작동 되는데 저 부분만 제꺼 컴퓨터에서는 정상 작동 친구컴퓨터에서는 작동하지 않네요... 건강보험 사이트인데...일부는 정상작동 몇분은 작동 안되는 이유를 모르겠습니다.
-
미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
개발도구 페이지 network preview 나 network response Json 가져오는법
안녕하세요 유용한 강의 감사드립니다. 강의내용과는 무관합니다만.. 크롤링관련 막히는 부분이있어 조언을 얻고자 문의드립니다. 강의를 전부 듣고 업무에 활용하고자 회사 클라우드 서버의 erp 데이터를 가져오려고 합니다만. souce code 상에는 "You need a browser which full supports HTML5 Canvas to run SpreadJS" 라는 문구와 함께 데이터가 표기가 안되어.. 확인해본결과. 아래와 같이 Network 탭의 Response 나 Preview 탭에 원하는 데이터가 있는 것을 발견하였습니다. 아래 데이터를 받아노는 방법이있나요??. 보안문제로 selenium을 통해서 페이지에 접근을 해야하며.. selenium-wire를 통해 현재 페이지의 payload 까지 가져오는데는 성공하였습니다.
-
해결됨파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
res = requests.get(url)에서 오류가 나요
이렇게 뜨는데 어떡해야 하나요? import 문제인거 같은데
-
미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
제발 도와주세요......
저는 네이버 부동산을 스크롤하려고 하고있습니다 하지만 스크롤 대상이 body가 아닌 이 그림에 왼쪽아래 부분에 또다른 작은 부분의 스크롤을 내리려고 하는데 도저히 되질 않습니다 ㅠㅜㅠ 어떻게 해야하는지 답변좀 부탁드리겠습니다.... ㅠㅠㅠㅠ
-
미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
오른쪽 마우스버튼이 안먹히는 사이트들은 크롤링이 불가능할까요?
안녕하세요~ 저는 인터넷 등기소를 크롤링하고 싶은 사람입니다. 이 사이트의 최대의 문제점은 오른쪽 마우스 클릭이 안되서 사이트의 태그 확인이 불가능하다는 점 입니다. 이러한 사이트들은 빠른 포기가 답일까요?