묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결[웹 개발 풀스택 코스] Node.js 프로젝트 투입 일주일 전 - 기초에서 실무까지
개발자님이 예시로 해서 Mysql에 넣은 데이터들을 알수있을까요?
안녕하세요. 현재 mysql 연동하기 강의를 듣고 있는데, 개발자님이 예시로 해서 Mysql에 넣은 데이터들을 알수있을까요?
-
미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
soup으로 검색한 버튼 또는 text를 click할때 어떻게 하나요 ?
webdriver의 find_element로 찾은 경우 .click()을 붙여주면 click이 되는데, soup으로 찾은 경우 .click()을 붙여주면 오류가 발생하네요.click을 하려면 find_element를 써야 할까요? soup으로 찾은 객체는 click을 할 수 없을까요?
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
쿠팡 페이지 지정 출력
안녕하세요 쿠팡 크롤링 100개 상품 출력 강의를 듣고 코드를 작성했는데요, 똑같이 작성을 해봐도 페이지만 숫자만 출력되고 안에 내용이 출력되지 않습니다 ㅠ 코드 한번만 확인 부탁드려도 될까요? import requests from bs4 import BeautifulSoup import pyautogui keyword = pyautogui.prompt("검색어를 입력하세요 >> ") rank = 1 done = False for page in range(1,5): if done == True: break print(page, "번째 페이지 입니다.") main_url = "https://www.coupang.com/np/search?&q={keyword}&page={page}" coupang_header = { 'Host': 'www.coupang.com', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:76.0) Gecko/20100101 Firefox/76.0', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Language': 'ko-KR,ko;q=0.8,en-US;q=0.5,en;q=0.3', } response = requests.get(main_url, headers=coupang_header) html = response.text soup = BeautifulSoup(html, "html.parser") links = soup.select("a.search-product-link") for link in links: if len(link.select("span.ad-badge-text")) > 0: print("광고상품 입니다.") else: sub_url = "https://www.coupang.com/" + link.attrs['href'] response = requests.get(sub_url, headers=coupang_header) html = response.text soup = BeautifulSoup(html, "html.parser") try: brand_name = soup.select_one("a.prod-brand-name").text except: brand_name = "" product_name = soup.select_one("h2.prod-buy-header__title").text try: product_price = soup.select_one("span.total-price > strong").text except: product_price ="" print(rank, brand_name, product_name, product_price) rank = rank + 1 if rank > 100: done = True break
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 기본편
검색창 클릭이 안됩니다ㅜㅜ
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import time # 브라우저 생성 browser = webdriver.Chrome('c:/chromedriver.exe') # mac 의 경우 /User/내거로/Documents/chromedriver # 웹 사이트 열기 browser.get('https://www.naver.com') browser.implicitly_wait(10) # 로딩이 끝날 때까지 10초 기다림 # 쇼핑 메뉴 클릭하기 browser.find_element(By.CSS_SELECTOR, ".service_icon.type_shopping").click() time.sleep(2) # 검색창 클릭 search = browser.find_element(By.CSS_SELECTOR, "input._searchInput_search_text_3CUDs") search.click() # 검색어 입력 search.send_keys("아이폰13") search.send_keys(Keys.ENTER)
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
쿠팡정보 웹사이트 관련,
선생님! 쿠팡정보 크롤링해서 웹사이트 만들었습니다이렇게 유익한 강의 처음입니다!! 너무너무 감사해요다름이 아니라 혹시 괜찮으시면 선생님과 만든 웹사이트에 쿠팡 파트너스 API 연동시키는 부분 강의로 찍어주실수 있는지요 아님 유튜브 영상이라도 부탁드려요 ㅠㅠㅠ 혼자 하려니까 API 주소를 어따 붙여넣기 해야하는지 감이 안잡히네요
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 기본편
크롤링 - 네이버 쇼핑 검색창 선택
네이버쇼핑 검색창 클릭 관련해서선택자를 input._searchInput_search_text_3CUDs로 하여서 코드를 실행하였는데 동작이 되지 않습니다.코드를 잘못 작성한건가 싶어서 네이버 홈에서 검색창에 맞는 선택자로 테스트 했을 때는 정상 작동하는데 네이버 쇼핑 탭에서만 작동이 안되는 이유가 궁금합니다. 추가로 크롬 꺼짐 방지chrome_options = Options() chrome_options.add_experimental_option("detach",True) driver = webdriver.Chrome(service=service, options=chrome_options)코드를 사용했음에도 vscode를 사용할 때 꺼집니다. (vscode 파이썬 버전은 3.9.13입니다.)주피터 노트북에서는 안꺼지는데 혹시 vscode만 꺼지는 이유를 알 수 있을까요?
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
드롭다운 질문
안녕하세요! 정말 유용히 강좌 활용하고 있습니다. 타사이트 크롤링 시도 중 에러를 만나 질문드립니다.제가 이번에 크롤링을 시도하고 있는 사이트는 Amazon Australia (https://www.amazon.com.au/)입니다. 다만, 한국에서 호주 아마존 제품을 크롤링을 시도하고 있는 관계로 제 위치(또는 주소)를 호주 쪽으로 먼저 설정해야 아이템 리스트를 제대로 볼수가 있더라구요.그래서 해당 설정을 위해 아래와 같이 코드를 작성했습니다. 그런데 50번째 줄부터 에러가 생기네요.여기에 'Select your City'를 클릭하도록 한 후, 'Sydney'를 선택하도록 만들고 싶습니다. 혹시 제 코드가 왜 에러가 발생하는 지 혹은 개선할 점이나 의견 있으실까요? :)
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 기본편
맥에서 오류가 뜹니다 #reportUndefinedVariable #reportMissingModuleSource
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.왜 리퀘스트와 html을 찾을수 없다고 나오는 걸까요 ㅜㅠ 구글링해도 어떻게 하라는 건지 잘 모르겠는데 여쭤봐도 괜찮을까요 맥을 하고 있습니다 ㅠ.ㅠ
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
쥬피터노트북에서 실행파일 만들기
프로그램에 문외한 초보입니다. 선생님의 강의를 듣고자 쥬피터노트북을 설치하였습니다. 거기서 제가 사용하고자 자동화프로그램을 하나 만들었는데, 실행파일이 만들어 지지 않고 계속 아래의 오류메시지가 뜹니다. 근데 아래의 pathlib라는 패키지를 제거하면 이번에는 pip명령이 작동하지 않습니다. 파이참도 설치하여 파일을 옴겨보고 수 없이 프로그램을 재설치하고, chatgpt에 문의도해 보았지만, 문제를 해결하지 못하였습니다. 강의 내용과 좀 다른 질문일수도 있으나, 어디 도움을 구할 곳이 없네요. 쥬피터노트북을 사용하시는 선생님은 실행파일을 어떻게 만드시는지 궁금하여 문의드립니다.The 'pathlib' package is an obsolete backport of a standard library package and is incompatible with PyInstaller. Please remove this package (located in C:\Users\jh_ki\anaconda5\lib\site-packages) using conda remove then try again.
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
네이버지도크롤링부분
안녕하세요 네이버지도 크롤링 부분을 듣다가 응용을 좀 해보고싶어서 그러는데 각 리뷰수,블로그리뷰수,등등 뽑아오는것은 가능하지만 각 상점마다 클릭을하여 리뷰를 작성한텍스트 부분도 같이 뽑아오고싶습니다(각 상점의 리뷰텍스트) 어떤 방식으로 진행을 해야할지 모르겠는데 조언 부탁드립니다.
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
네이버가 바뀌었는데 카테고리? 리스트 가져오는게 안되네요?
안녕하세요.강의 잘 듣고 있습니다.네이버가 새로운 형태로 바뀌었는데아주 간단한 것이 해결이 안되네요?이유가 뭘까요?기본구조는 이렇게 생겼습니다.<li class="shortcut_item"> <a href="mail.naver.com" class="link_service"> <span class="service_icon type_mail"> ::before ::after </span> <span class="service_name">메일</span> </a> </li> <li class="shortcut_item"> </li>아래처럼 너무 단순한거라 생각했던 것을 못 가져오네요?확인 부탁드려요~service_name = soup.find(class_="service_name", string="메일") print(service_name) # None 출력이 안되네 이유가 뭘까나? print()
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
header 관련 질문
안녕하세요. 현재 거의 완강을 한 학생이자, 업무에서도 크롤링을 나름 잘 활용하고 있습니다. 그래도 여러 가지 어려운 에러를 많이 만나는데, 그 중 하나가 header 관련 입니다. 우선, 제가 크롤링을 시도하고 있는 웹사이트는 라쿠텐 일본 (https://search.rakuten.co.jp/search/mall/-/560202/?p=2&used=1) 웹사이트입니다. 1페이지까지는 크롤링이 잘 되는데, 2페이지부터는 크롤링이 되지 않고, 하기와 같은 화면이 나오네요.제가 구글링을 많이 해본 결과, 웹사이트에서 크롤링 방지를 위해 무엇인가 설정을 해놓은 것이 아닐까 생각이 되고, 그래서 수업 중에 설정했던 header에 관해 여러 설정을 해보고 있는데, 아직 성공적으로 돌리지 못했네요. 전 셀레니움을 사용해서 다음과 같은 설정을 추가해봤습니다만, 혹시 관련해서 조언을 주실만한 사항이 있을까요?헤더나 설정을 할 때 무엇이 어떻게 필요한지 어떻게 아는지도 매우 궁금합니다.
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
입문 이후 강의 고민
안녕하세요저는 공공기관에 근무하고 있는데다른 파이썬 강의는 지루하고 어려워서 돌고 돌다가 선생님께서 쉽게 기초부터 잘 가르쳐주셔서감사하게 생각하고 있습니다.사실 파이썬 데이터 분석을 먼저 신청했는데 머리에 잘 들어오지 않아 고민 끝에 입문 강의를 신청해서 듣고 있는데 정말 만족하고 있습니다. 최종적으로 제가 만들고 싶은 건 두 가지입니다.하나는, 책의 내용을 제가 텍스트로 정리하고 만들고자 하는 프로그램에서 그걸 불러오면... 음... 액세스 같은 프로그램이라고 할까요(액세스는 잘 안 쓰이는 거 같더라구요) 그 프로그램에서 키워드를 검색하면 키워드를 포함하는 문장과 그 문장이 속한 카테고리가 옆에 뜨게 되는 그런 것이고 다른 하나는, 데이터 비교 및 분석입니다.업무 특성상 과거연도와 데이터 비교를 할 일이 많습니다.데이터 크기, 양도 몇 만~ 1~20만 건인데다가 단순 엑셀 수작업으로 하기엔 데이터 추출하기도 정리하기도 엑셀도 버벅대서 여러모로 버거워서 배우고 있는데 이런 업무를 하려면 어떤 것들을 배워야 할지 몰라서혹시나 도움이 될까해서 글 올려봅니다.
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
주피터노트북 확장팩 설치가 안됩니다.
말씀해주신 두가지방법 다 사용해보고, 아래와 같이 구글에 검색한 방법까지 이용해 보았는데도 주피터노트북확장팩이 설치되지 않네요. !pip install jupyter_nbextensions_configurator jupyter_contrib_nbextensions !jupyter contrib nbextension install --user !jupyter nbextensions_configurator enable --user
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
강의 끝까지 잘 들었습니다. 복습도 해야겠죠
강의를 잘 들었습니다.완강이신지요? 너무 훌륭한 강의라서 좀더 이어졌으면 하는 간절한 바램입니다. 지금은 잘 이해하고 있다고 생각드는데 막상 실전에서 사용하려면 잘 안돼요.... 우선 복습부터 해야겠네요....감사합니다.
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
날짜 정보
안녕하세요.현재 시점의 fdr 데이터에는 날짜 정보가 없습니다.저는 최종적으로 시계열 데이터를 기준으로 데이터를 분석하는 것을 목표로 하고 있는데요.시계열 데이터를 포함한 fdr데이터는 가져올 수 있는 방법이 없을까요?
-
해결됨일잘하는 마케터, MD에게 꼭 필요한 파이썬 데이터 분석
Google Colab 코드작성 네이버 리뷰 코드 오류
안녕하세요 선생님. 네이버 리뷰 강의 듣다가 코드 오류때문에 글 남깁니다. Driver 네임 오류는 어떻게 고쳐야되나요?
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 기본편
기간지정 뉴스검색 멀티페이지
특정기간 동안 뉴스 헤드라인만 모두 가져올려고 강의 내용대로 해보는데요.페이지가 바뀌어도 같은 내용입니다.계속 10개씩 반복하고 있네요아래처럼 5페이지 내용이 4페이지랑 같은데요? 막아놓은 건가요?감사합니다~ 4페이지입니다. ========================삼성전자, 日에 반도체 개발거점 신설…한일 협력 강화 http://www.newsis.com/view/?id=NISX20230514_0002302240&cID=13001&pID=13000이재용 삼성전자 회장, 美서 일론 머스크 만났다 https://www.busan.com/view/busan/view.php?code=2023051416460254009[단독] 네이버와 손잡은 삼성전자…'삼성 전용 챗GPT' 만든다 https://www.hankyung.com/economy/article/2023051438501삼성전자·테슬라 협력 확대 기대감...이재용, 머스크와 만났다 https://magazine.hankyung.com/business/article/202305143929b"삼성전자, 日에 3000억 규모 반도체 시설 짓는다" http://www.fnnews.com/news/202305141137269594삼성·LG전자, 에어컨 점유율 놓고 신경전 https://biz.chosun.com/it-science/ict/2023/05/14/IJWA7SBSYRDPZMKRSSYFUIBUEM/?utm_source=naver&utm_medium=original&utm_campaign=biz함영주 회장, 자카르타서 삼성전자와 손잡고 K-금융 전파 http://www.edaily.co.kr/news/newspath.asp?newsid=01161126635608920삼성전자 1분기 국내 에어컨시장 점유율 48.6%…10년 연속 1위 https://www.yna.co.kr/view/AKR20230514015600003?input=1195m삼성전자, 무풍 덕분에 '활짝'…1분기 에어컨 점유율 절반 https://www.news1.kr/articles/5045836구글까지 가세…'활짝 펼친' 폴더블폰 시장, 삼성전자 숨은 무기는? http://news.tf.co.kr/read/economy/2017581.htm 5페이지입니다. ========================삼성전자, 日에 반도체 개발거점 신설…한일 협력 강화 http://www.newsis.com/view/?id=NISX20230514_0002302240&cID=13001&pID=13000이재용 삼성전자 회장, 美서 일론 머스크 만났다 https://www.busan.com/view/busan/view.php?code=2023051416460254009[단독] 네이버와 손잡은 삼성전자…'삼성 전용 챗GPT' 만든다 https://www.hankyung.com/economy/article/2023051438501삼성전자·테슬라 협력 확대 기대감...이재용, 머스크와 만났다 https://magazine.hankyung.com/business/article/202305143929b"삼성전자, 日에 3000억 규모 반도체 시설 짓는다" http://www.fnnews.com/news/202305141137269594삼성·LG전자, 에어컨 점유율 놓고 신경전 https://biz.chosun.com/it-science/ict/2023/05/14/IJWA7SBSYRDPZMKRSSYFUIBUEM/?utm_source=naver&utm_medium=original&utm_campaign=biz함영주 회장, 자카르타서 삼성전자와 손잡고 K-금융 전파 http://www.edaily.co.kr/news/newspath.asp?newsid=01161126635608920삼성전자 1분기 국내 에어컨시장 점유율 48.6%…10년 연속 1위 https://www.yna.co.kr/view/AKR20230514015600003?input=1195m삼성전자, 무풍 덕분에 '활짝'…1분기 에어컨 점유율 절반 https://www.news1.kr/articles/5045836구글까지 가세…'활짝 펼친' 폴더블폰 시장, 삼성전자 숨은 무기는? http://news.tf.co.kr/read/economy/2017581.htm
-
미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
위시켓 폼데이터
위시켓 네트워크 살펴보면 login/이라는 이름을 가진 게 없어요.
-
해결됨[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
headless 내용이 포함되어 있나요?
강의 초반 진행중인데 셀레니움 headless 에 관한 내용도 나오나요?