"쿠팡 제품 검색 결과 크롤링" 강의를 응용해서 타오바오 사이트에서 해보려고 하는데,자꾸 안돼서 아래와 같이 print(html) 했더니뭔가 차단된거 같은 html 막 쭉 뜨네요 이럴때는어떻게 해야하나요?req = requests.get(links, timeout=5, headers=headers, cookies=cookie)html = req.textsoup = BeautifulSoup(html, "html.parser")print(html)  

섹션 6-3에서 for word in "멘트" <<이렇게 돌리면 댓글이 한글자씩 입력하고 작성됩니다.ex) 멘트댓글1 : 멘 댓글2 : 트 if not device(text="이 게시물에 대한 댓글 기능이 제한되었습니다.").exists(): print("커멘드 작성 가능 exists") device(resourceId="com.instagram.android:id/layout_comment_thread_edittext").click() for word in "안녕하세요!": device.send_keys(word) time.sleep(random.uniform(0.03,0.08)) time.sleep(5) device(resourceId="com.instagram.android:id/layout_comment_thread_post_button_click_area").click() time.sleep(2) device.press('back') time.sleep(2) device.press('back')  if not device(text="이 게시물에 대한 댓글 기능이 제한되었습니다.").exists(): print("커멘드 작성 가능 exists") device(resourceId="com.instagram.android:id/layout_comment_thread_edittext").click() for word in "안녕하세요!": device.send_keys(word) time.sleep(random.uniform(0.03,0.08)) time.sleep(5) device(resourceId="com.instagram.android:id/layout_comment_thread_post_button_click_area").click() time.sleep(2) device.press('back') time.sleep(2) device.press('back')

webdriver의 find_element로 찾은 경우 .click()을 붙여주면 click이 되는데, soup으로 찾은 경우 .click()을 붙여주면 오류가 발생하네요.click을 하려면 find_element를 써야 할까요? soup으로 찾은 객체는 click을 할 수 없을까요?

로그인 > 해시태그 검색 까지는 작동되는데... 이후 스크롤부터 링크 추출까지 막혔습니다. 어떤 문제가 있는지 알수 있을까요?---------------------------------------------------------import timeimport chromedriver_autoinstallerchromedriver_autoinstaller.install()from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver import ActionChainsdriver = webdriver.Chrome()driver.get("https://www.instagram.com/")# time.sleep(2)id_selector = "#loginForm > div > div:nth-child(1) > div > label > input"WebDriverWait(driver, 10).until(EC.presence_of_element_located( (By.CSS_SELECTOR, id_selector) ))import mdataid_input = driver.find_element(By.CSS_SELECTOR,id_selector)id_input.send_keys(mdata.id)time.sleep(1)pw_selector = "#loginForm > div > div:nth-child(2) > div > label > input"pw_input = driver.find_element(By.CSS_SELECTOR,pw_selector)pw_input.send_keys(mdata.pw)time.sleep(1)login_btn_selector = "#loginForm > div > div:nth-child(3) > button"login_btn = driver.find_element(By.CSS_SELECTOR, login_btn_selector)login_btn.click()time.sleep(10)from urllib import parsekeyword = "사업가"keyword = parse.quote(keyword)driver.get(f"https://www.instagram.com/explore/tags/{keyword}/")time.sleep(10)all_posting_sel = "div[id^='mount_0_0'} > div > div > div.x9f619.x1n2onr6.x1ja2u2z > div > div > div > div.x78zum5.xdt5ytf.x10cihs4.x1t2pt76.x1n2onr6.x1ja2u2z > div.x9f619.xnz67gz.x78zum5.x168nmei.x13lgxp2.x5pf9jr.xo71vjh.x1uhb9sk.x1plvlek.xryxfnj.x1c4vz4f.x2lah0s.x1q0g3np.xqjyukv.x1qjc9v5.x1oa3qoh.x1qughib > div.xh8yej3.x1gryazu.x10o80wk.x14k21rp.x1porb0y.x17snn68.x6osk4m > section > main > article > div:nth-child(3) > div"time.sleep(3)all_posting_box = driver.find_element(By.CSS_SELECTOR, all_posting_sel)time.sleep(3)'''링크 100개 추출'''links = []while len(links) < 100 : for _ in range(6): driver.execute_script("window.scrollBy(0.600);") time.sleep(1) all_posting_box = driver.find_element(By.CSS_SELECTOR, all_posting_sel) posk_links = all_posting_box.find_elements(By.TAG_NAME,"a") for eachLink in posk_links: link = eachLink.get_attribute('href') links.append(link) links = set(links) links = list(links) for link in links: print(link)print("******")print(len(links), "개의 링크를 추출")input()------------------------------------------------------DevTools listening on ws://127.0.0.1:50287/devtools/browser/ed0f17f2-033d-4ba2-80b8-8f3d2f886171Traceback (most recent call last): File "c:\Users\문소희\Desktop\project\insta_auto\insta_web.py", line 50, in <module> all_posting_box = driver.find_element(By.CSS_SELECTOR, all_posting_sel) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\문소희\AppData\Local\Programs\Python\Python311\Lib\site-packages\selenium\webdriver\remote\webdriver.py", line 831, in find_element return self.execute(Command.FIND_ELEMENT, {"using": by, "value": value})["value"] ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\문소희\AppData\Local\Programs\Python\Python311\Lib\site-packages\selenium\webdriver\remote\webdriver.py", line 440, in execute self.error_handler.check_response(response) File "C:\Users\문소희\AppData\Local\Programs\Python\Python311\Lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 245, in check_response raise exception_class(message, screen, stacktrace)selenium.common.exceptions.InvalidSelectorException: Message: invalid selector: An invalid or illegal selector was specified (Session info: chrome=113.0.5672.127)Stacktrace:Backtrace: GetHandleVerifier [0x005C6DF3+48691] (No symbol) [0x00558CC1] (No symbol) [0x00465068] (No symbol) [0x00468401] (No symbol) [0x00469641] (No symbol) [0x004696E0] (No symbol) [0x004900D0] (No symbol) [0x004906AB] (No symbol) [0x004BDD62] (No symbol) [0x004AA314] (No symbol) [0x004BC452] (No symbol) [0x004AA0C6] (No symbol) [0x00487E18] (No symbol) [0x00488F3D] GetHandleVerifier [0x00824EAA+2531050] GetHandleVerifier [0x00864B60+2792352] GetHandleVerifier [0x0085E6EC+2766636] GetHandleVerifier [0x00650820+612448] (No symbol) [0x005625BC] (No symbol) [0x0055E808] (No symbol) [0x0055E8EB] (No symbol) [0x00551C77] BaseThreadInitThunk [0x754900C9+25] RtlGetAppContainerNamedObjectPath [0x772E7B4E+286] RtlGetAppContainerNamedObjectPath [0x772E7B1E+238]

선생님! 쿠팡정보 크롤링해서 웹사이트 만들었습니다이렇게 유익한 강의 처음입니다!! 너무너무 감사해요다름이 아니라 혹시 괜찮으시면 선생님과 만든 웹사이트에 쿠팡 파트너스 API 연동시키는 부분 강의로 찍어주실수 있는지요 아님 유튜브 영상이라도 부탁드려요 ㅠㅠㅠ 혼자 하려니까 API 주소를 어따 붙여넣기 해야하는지 감이 안잡히네요

강의에 보여주시는 부분과 다른 디자인으로 변경되었습니다.비슷한 방법으로 해봐도 도저히 실행되지가 않네요..  

네이버 메일 자동화 하는 강의를 듣는중 입니다.네이버 화면이 변경되면서, 네이버 메일을 누르면 기존 구글 탭에서 네이버 메일로 가는게 아닌, 새로운 탭에 네이버 메일이 생성됩니다.때문에, 메일쓰기 버튼을 클릭하라고 해도 NoSuchElementException에러가 발생합니다.(이게 네이버 메일이 새 탭에서 생성되었기 때문이라는 것을 알게되기 까지 정말 힘들었습니다...)파이썬으로 제어하는 창을 활성화 탭으로 옮기도록 driver.switch_to.window(driver.window_handles[-1])하면 가능하다는 건 알게되었습니다. 하지만, 내가 지금 바라보고 있는 탭이 어떤 탭인지 알 수 있는 방법이 무엇인지 알고싶습니다.

안녕하세요.강의 잘 듣고 있습니다.네이버가 새로운 형태로 바뀌었는데아주 간단한 것이 해결이 안되네요?이유가 뭘까요?기본구조는 이렇게 생겼습니다.<li class="shortcut_item"> <a href="mail.naver.com" class="link_service"> <span class="service_icon type_mail"> ::before ::after </span> <span class="service_name">메일</span> </a> </li> <li class="shortcut_item"> </li>아래처럼 너무 단순한거라 생각했던 것을 못 가져오네요?확인 부탁드려요~service_name = soup.find(class_="service_name", string="메일") print(service_name) # None 출력이 안되네 이유가 뭘까나? print()

강의를 잘 들었습니다.완강이신지요? 너무 훌륭한 강의라서 좀더 이어졌으면 하는 간절한 바램입니다. 지금은 잘 이해하고 있다고 생각드는데 막상 실전에서 사용하려면 잘 안돼요.... 우선 복습부터 해야겠네요....감사합니다.

상품고유번호(data-i)가 아닌 업체고유번호(data-ms)로 했을 때는 왜 작동이 안되는 걸까요?2페이지에 분명히 있는데, 못찾고 계속 지나갑니다.알려주시면 감사하겠습니다. from selenium import webdriver from selenium.webdriver.common.by import By import time import chromedriver_autoinstaller chromedriver_autoinstaller.install() 드라이버 = webdriver.Chrome() 진짜등수 = -1 등수 = -1 for 페이지인덱스 in range(1, 15): # 1. 페이지 방문 검색쿼리 = "em" 쇼핑링크 = f"https://msearch.shopping.naver.com/search/all?frm=NVSHPAG&origQuery={검색쿼리}&pagingIndex={페이지인덱스}&pagingSize=40&productSet=total&query={검색쿼리}&sort=rel&viewType=lst" 드라이버.get(쇼핑링크) time.sleep(2) # 2. 페이지 4-5번 내리기 for _ in range(4): 드라이버.execute_script("window.scrollBy(0,10000);") time.sleep(0.5) # 3. 타겟 상품이 노출되고 있는지 확인 # 4. 없다면 다음페이지로 이동 try: 타겟상품코드 = "4627652" 타겟상품_셀렉터 = f'a[data-ms="{타겟상품코드}"]' 찾은상품_엘리먼트 = 드라이버.find_element(By.CSS_SELECTOR, 타겟상품_셀렉터) 데이터 = 찾은상품_엘리먼트.get_attribute('data-nclick') 진짜등수 = 데이터.split(f"{타겟상품코드},r:")[-1].split(',')[0] 등수 = int(진짜등수) - (int(페이지인덱스) - 1) * 40 break except: print(f"{페이지인덱스} 페이지에서 타겟상품을 못찾음") #next page 방문해야 함 print(f"내상품의 진짜 등수는 : {진짜등수} 입니다.") print(f"내 상품은 {페이지인덱스} 페이지의 {등수}위에 노출되고 있습니다.") input()

안녕하세요 : )강의 넘 잘 듣고 있습니다.몇일째 넘어가지 못하고 있어 이렇게 글을 남김니다.로그인 후 환경이 변경된것 같은데로그인 정보를 저장하시겠어요? 부분은driver.find_element(By.CLASS_NAME, '_acan').click()이걸로 하니 넘어간 것 같은데2번째 뜨는 알림 설정 창은나중에 하기 버튼 클릭을 누르려고 아무리 애를 써도 안되네요 ㅠ driver.find_element(By.CLASS_NAME, '_a9--._a9_1').click()class="_a9-- _a9_1"개발자도구 > Ctrl + F_a9-- _a9_1 이렇게 검색하면 1개를 찾는데_a9--._a9_1 중간에 빈영역에 .을 넣으면 찾지 못하는 문제가 있네요?왜일까요?XPATH, SELECTOR 등을 모두 활용해 봤는데 더 이상 진행이 되지 않습니다.어떻게 하면 될까요?

click() 이 작동하지 않는데요.왜 그럴까요?

안녕하세요!! 강의 잘 듣고 있습니다 :)다름이 아니라 강의에서는 저렇게 . 찍고나서 팝업창이 뜨는데저는 저 title 칠때 뜨질 않거든요,,,뜨게 하고싶은데 어떻게 할 수 있을까요??기본내장 함수? 사용할땐 뜨는데...강의에선 저 .title 하면 인식되어서 하늘색 으로 변하는데openpyxl에서 .찍고 나오는 명령어는 다 뜨질 않네요ㅠws.save , ws.append , ws.iter_rows 라든지 그런거요 ㅠ저는 그대로 흰색으로 되거든요, 물론 작성 후 실행은 되는데, 작성 중에 팝업창 뜨는게 초보자한텐 도움이 되니까 뜨게 하고 싶습니다!감사합니다! 

6분20초쯤 설명해주시는 웹브라우저로 이동시키는거 하고 있는데요.주소를 입력한 웹사이트가 나타났다가 다시 사라집니다. 왜 그런 걸까요? 

 회사 계정에 자동 로그인하는걸 해보고 싶어서 키보드 자동화 #키보드 입력(문자)pyautogui.write('kosa') 이렇게 입력하고 실행버튼 눌렀더니, ko를 제외하고 입력이 됩니다.ko가 Vscode 안에서 단축키로 되어있는지 한국어 설정이 눌려지는 것 같은데, 어떻게 해야할까요? 

 강의 그대로 따라서 진행중인데, 저런 에러코드가 뜨면서 크롬 새창이 열리지 않아요 ㅜㅜ 어떻게 해결해야할까요?

""" dumpimages.py Downloads all the images on the supplied URL, and saves them to the specified output file ("/test/" by default) Usage: python dumpimages.py https://www.1688.com// [output] """ from bs4 import BeautifulSoup as bs from urllib.request import ( urlopen, urlparse, urlunparse, urlretrieve) import os import sys def main(url, out_folder="/test/"): """Downloads all the images at 'url' to /test/""" soup = bs(urlopen(url)) parsed = list(urlparse(url)) for image in soup.findAll("img"): print("Image: %(src)s" % image) filename = image["src"].split("/")[-1] parsed[2] = image["src"] outpath = os.path.join(out_folder, filename) if image["src"].lower().startswith("http"): urlretrieve(image["src"], outpath) else: urlretrieve(urlunparse(parsed), outpath) def _usage(): print("usage: python dumpimages.py http://example.com [outpath]") if __name__ == "__main__": url = sys.argv[-1] out_folder = "/test/" if not url.lower().startswith("http"): out_folder = sys.argv[-1] url = sys.argv[-2] if not url.lower().startswith("http"): _usage() sys.exit(-1) main(url, out_folder)root@goorm:/workspace/firstContainer# cd "/workspace/firstContainer";root@goorm:/workspace/firstContainer# python3 /workspace/firstContainer/index.pyTraceback (most recent call last): File "/workspace/firstContainer/index.py", line 38, in <module> url = sys.argv[-2]IndexError: list index out of range 구름ide로작성했는데 이렇게 오류가 떠요ㅠㅠ전체이미지가 아닌 배웠던 class 특정영역의 이미지들만 일괄저장하고싶어서요;;ㅠ

안녕하세요!headless를 이용하면 안되는 사이트도 있는거 같아서.그냥 크롬창을 띄워놓고 작업을 하는데요.탭을 2개 열어 놓고 작업을 시켰습니다.근데 탭을 변경하면 최소화된 크롬창이 자꾸 활성화 되면서 모니터 앞으로 튀어나오는데요..탭 변경시driver.switch_to.window(driver.window_handles[0])이 코드를 사용하는데요.0에서 작업하다가 1로 넘기면,넘길 때 마다 크롬창이 앞으로 팍 튀어나옵니다!해결 방법이 있을까요?headless를 사용하지 않고, 크롬창이 열리는 대신, 그냥 최소화 해놓고 작업을 하고 싶습니다!

셀레니움 질문드료요 ~인풋창에서 글을 입력하는데요 .webdriv= webdriver.Chrome(options=options)from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By 에러가 납니다. 문법이 바뀐것 같은데요 .. 목적은 인풋창에 값을 입력한뒤 Key.ENTER 가 하려고했습니다. keys.enter는 에러가 나서요 바뀐 . 문법이 궁금합니다. ------------------ webdriv.find_element(By.XPATH, # 는 알겠으나 // webdriv.send_keys(Keys.ENTER) # 이거는 어떻게 해야할지 몰라서 여쭈어 봅니다.

강의 잘 들었습니다!쿠팡 사이트에 여러번 시도를 하니까엑세스 디나인이 뜨더라구요.강사님은 혹시 이것이 발생하는 주기를 알고 계실까요?예)1분에 10번 이상 접속 시도시 차단.차단되면 1일 후 이용 가능. 이런 대략적인 정보나? 경험이 있으면 알려주시면 감사하겠습니다!