묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
첫번째 페이지 크롤링하기 _ 실행안됨
2022.04.28 에 업데이트 해주신 코드를 그대로 긁어서 실행해도아래와 같이 터미널에 실행내역(?)만 뜨고 별도 아무 반응이 없는 것 같은데 해결방법 알려주시면 감사하겠습니다..! C:\startcoding> c: && cd c:\startcoding && cmd /C "C:\Users\yjeon019\AppData\Local\Programs\Python\Python310\python.exe c:\Users\yjeon019\.vscode\extensions\ms-python.python-2023.10.0\pythonFiles\lib\python\debugpy\adapter/../..\debugpy\launcher 65533 -- "c:\startcoding\Chapter08_쿠팡\01. 첫번째페이지크롤링.py" "
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
첫번째 페이지 크롤링하기
2022.04.28 에 업데이트 해주신 코드를 그대로 긁어서 실행해도아래와 같이 터미널에 실행내역(?)만 뜨고 별도 아무 반응이 없는 것 같은데 해결방법 알려주시면 감사하겠습니다..! C:\startcoding> c: && cd c:\startcoding && cmd /C "C:\Users\yjeon019\AppData\Local\Programs\Python\Python310\python.exe c:\Users\yjeon019\.vscode\extensions\ms-python.python-2023.10.0\pythonFiles\lib\python\debugpy\adapter/../..\debugpy\launcher 65533 -- "c:\startcoding\Chapter08_쿠팡\01. 첫번째페이지크롤링.py" "
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
css selector >질문
CSS selector 사용해서 크롤링하기2 (업데이트)1:53에서ul#dev_course_list>li.course.paid하셨는데ul#dev_course_list 바로아래에는 li.course.paid가 아니라li.course#begin이 있는 것아닌가요? 바로아래라는 >개념이 잘 이해가 안가네요
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
파싱에서 BeautifulSoup질문
패턴으로 실습하며 익히기: 크롤링 코드 패턴으로 익히기2 10:193번 웹페이지 파싱하기에서 BeautifulSoup(res.content,"html.parser") 에서질문이 있습니다 BeautifulSoup은 함수가 아니라 라이브러리인데BeautifulSoup(인자1,인자2)형태인지"html.parser"는 왜 따옴표를 붙여줘야하는지 BeautifulSoup( , )은 어떤 역할을 하는것인지입니다
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
bs4라이브러리
패턴으로 실습하며 익히기: 크롤링 코드 패턴으로 익히기1 from bs4 import BeautifulSoup에서 bs4라이브러리에서 BeautifulSoup를 가져오는게 이해가 안됩니다 원래는 일반적으로 라이브러리에서 함수를 가져오는데 이거는 라이브러리에서 라이브러리를 가져오네요 라이브러리 중에서도 더 큰 놈이 있고 작은놈이 있는건가요?
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
네이버 쇼핑 리뷰 크롤링 관련
네이버 스마트 스토어의 리뷰들을 크롤링해보려고 시도하던 중 잘 되지 않아 문의드립니다.강의에서 배운대로 개발자 도구 이용해서 html 정보(?)를 가져와서 상품명과 같은 상단의 내용들은 잘 가져와졌습니다.그런데, 리뷰쪽은 [] 으로 결과가 계속 나오고 있어 찾아보니 많은분들이 selenium 패키지를 써서 하더라구요..혹시 selenium으로 꼭 해야할까요?BeautifulSoup으로 select 로 추출할 수 없는 것인지 궁금합니다.
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
맥에서 설치 완료 후 아나콘다 네비게이터 실행이 안됩니다. ㅠㅠ
설치 완료 메세지가 떴는데, 막상 아나콘다 네비게이터 실행이 안됩니다.. ㅠㅠ유저네임도 소문자로 바꾸고,다운로드 위치도 /Users/sewon/anaconda3/Anaconda-Navigator.app위와 같이 시도해 봤는데 실행이 안됩니다.. ㅠㅠ강사님이 알려주신대로, 아나콘다 네비게이터 앱을 실행하면잠깐 하단에 아이콘이 생겼다 사라지고, 실행은 되지 않습니다.또, 아래 이미지와 같이 세부 폴더 안에 있는 아나콘다 네비게이터를 열면, 응용프로그램을 열 수 없다는 메세지가 뜹니다.어떻게 해결해야할까요? 네비게이터 없이 주피터 노트북을 실행할 수 있는 방법은 없을까요? 답변 부탁드립니다. ㅠㅠ
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
while 무한반복문 질문
문제를 풀며 가장 자연스럽게 익숙해지는 파이썬 기본: 반복문 익히기2 12:10while 1: 하면 무한반복이라 하셨는데요1은 참이고 0은 거짓이라고 해서 while 0:도 해보니 안되는것 확인했습니다 그런데 2나 3이나 "x" "a"이런것으로도 해보니 1처럼 다 무한반복이 되더라고요 이것들은 왜 그런 것인가요?
-
미해결파이썬 셀레니움 고급편 (python selenium - 크롤링, 크롤러)
User Agent Data 변경하는 법 강의에서 아래처럼 계속 오류가 생깁니다..
User Agent Data 변경하는 법 강의에서 아래처럼 계속 오류가 생깁니다.. 코드는 동일하게 입력한 것 같은데..왜 그런 걸까요..? selenium.common.exceptions.InvalidArgumentException: Message: invalid argument: Invalid parameters(Session info: chrome=114.0.5735.110) import requests from user_agents import parse from selenium import webdriver from selenium.webdriver.chrome.options import Options import chromedriver_autoinstaller import random, time, os chromedriver_autoinstaller.install() def make_user_agent(ua, is_mobile): user_agent = parse(ua) model = user_agent.device.model platform = user_agent.os.family platform_version = user_agent.os.version_string + ".0.0" # 모바일 기준이다 version = user_agent.browser.version[0] print('version: ', version) ua_full_version = user_agent.browser.version_string print('ua_full_version: ', ua_full_version) architecture = "x86" print(platform, ' platform') if is_mobile: platform_info = "Linux armv8l" else: # Window platform_info = "Win32" RET_USER_AGENT = { "appVersion" : ua.replace("Mozilla/", ""), "userAgent" : ua, "platform" : f"{platform_info}", "acceptLanguage": "ko-KR, kr, en-US, en", "userAgentMetadata": { "brands" : [ {'brand': 'Not.A/Brand', 'version': '8'}, {'brand': 'Chromium', 'version': '114'}, {'brand': 'Google Chrome', 'version':'114'} ], "fullVersion": f"{ua_full_version}", "platform" : platform, "platformVersion": platform_version, "architecture" : architecture, "model": model, "mobile": is_mobile } } return RET_USER_AGENT pc_device = ["1920,1440","1920,1200","1920,1080","1600,1200","1600,900", "1536,864", "1440,1080","1440,900","1360,768" ] mo_device = [ "360,640", "360,740", "375,667", "375,812", "412,732", "412,846", "412,869", "412,892", "412,915" ] width, height = random.choice(pc_device).split(",") UA = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36" options = Options() UA_Data = make_user_agent(UA, True) # 랜덤 쿠키 생성하기 # ** 1~100의 숫자 이름의 폴더 밑에 쿠키를 생성해서 저장한다 rand_user_folder = random.randrange(1, 100) userCookieDir = os.path.abspath(f"./cookies/{rand_user_folder }") if os.path.exists(userCookieDir) == False: print(userCookieDir, "폴더가 없어서 생성함") os.mkdir(userCookieDir) options.add_argument(f"user-data-dir={userCookieDir}") options.add_argument(f'--user-agent={UA}') options.add_argument(f'--window-size={width}, {height}') driver = webdriver.Chrome(options=options) driver.execute_cdp_cmd("Network.setUserAgentOverride", UA_Data) driver.get('https://google.com') driver.set_window_position(500, 500) input()
-
미해결업무 자동화를 위한 파이썬 pyautogui, beautifulsoup 크롤링 기초
에러가 너무 납니다.
맥북을 사용하는 유저인데,pyautogui.click(i) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 594, in wrapper returnVal = wrappedFunction(*args, **kwargs) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 985, in click x, y = _normalizeXYArgs(x, y) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 663, in _normalizeXYArgs location = locateOnScreen(firstArg) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 172, in wrapper return wrappedFunction(*args, **kwargs) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 210, in locateOnScreen return pyscreeze.locateOnScreen(*args, **kwargs) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyscreeze/__init__.py", line 375, in locateOnScreen screenshotIm = screenshot( File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyscreeze/__init__.py", line 527, in screenshotosx if tuple(PIL__version__) < (6, 2, 1):TypeError: '<' not supported between instances of 'str' and 'int' 아래와 같은 에러가 지속적으로 발생하는데 무엇이 문제일까요?
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
"쿠팡 제품 검색 결과 크롤링" 강의를 응용해서 타오바오 사이트에서 해보려고 하는데,,
"쿠팡 제품 검색 결과 크롤링" 강의를 응용해서 타오바오 사이트에서 해보려고 하는데,자꾸 안돼서 아래와 같이 print(html) 했더니뭔가 차단된거 같은 html 막 쭉 뜨네요 이럴때는어떻게 해야하나요?req = requests.get(links, timeout=5, headers=headers, cookies=cookie)html = req.textsoup = BeautifulSoup(html, "html.parser")print(html)
-
해결됨[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
심화 학습
안녕하세요.강의 잘 들었습니다.대부분의 사이트는 셀레니움과 bs4, requests 를 조합하면 정보를 가져올 수 있지만, 문제는 동적 사이트의 경우 시간이 걸린다는 점 입니다.예를 들어, 네이버 지도를 대상으로 필요한 데이터를 가져올 때, 저의 경우는 100개의 가게 정보를 모두 가져오는데 5~6분 정도가 소요되는 반면, 크롤링을 전문적으로 하시는 분들은 더 빠르게 작업을 완료하시는 것 같더라구요.자세히는 모르겠지만 패킷 등등의 기술을 활용하시는 것 같은데, 이런 내용을 학습할 수 있는 방법이 있을까요?크롤링을 활용해서 부업을 하려고 했는데, 막상 전문적으로 하시는 분들을 보니, 상대가 될 것 같지 않은 답답한 마음에 질문 드렸습니다.
-
해결됨일잘하는 마케터, MD에게 꼭 필요한 파이썬 데이터 분석
실습 엑셀 파일 문의
섹션 5 프로펫 강의에 있는 '주방용품 매출' 데이터는 어디서 받을 수 있나요?? 항상 링크로 남겨주셨는데 보이지 않아 문의드립니다.!
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 기본편
파이썬 설치 관련문의
명령창에서 python치면 microsoft store 설치하라고뜨는데 이게 맞나요?
-
해결됨[웹 개발 풀스택 코스] Node.js 프로젝트 투입 일주일 전 - 기초에서 실무까지
추가 강의 좀 올려주시면 감사하겠습니다^^
[섹션0_Node.js 기초 다지기] 파트에서MySQL 연동하기 동영상 강좌에는 13_app_mysql.js 파일까지 강의가 진행되었는데정적파일처리 영상을 보게 되면 16_static.js로 강의부터 강의가 진행되다보니뭔가 좀 이상하다 싶어 우연히 발견하게 되었습니다.14_route.js 파일 영상과 15_app_route_module에 관련된 동영상 강의가 없어서 문의 드립니다.
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 기본편
오류가떠요
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 기본편
오류가떠요!!!
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 기본편
코드진행이 안되는데 어떻게하죠?
분명 뷰티풀수프랑 bs4도 request 도 다 깔렸는데 실행 자체가 안돼요미치겠네요 혹시 다른버전인지도 확인해봤는데다 눌러봐도 다 실행이 안돼요이거 어떻게해야하죠?파이썬 리셋시키고 하는방법이 있나요?
-
미해결파이썬 텍스트 분석 입문 - 데이터 수집부터 분석까지
맥 os에서 폰트 경로 지정*코랩 사용
안녕하세요 코랩으로 공부중입니다.워드클라우드 작성시 font_path="C:/windows/fonts/malgun.ttf폰트 경로를 지정해줘야 하는데 운영체제가 mac 일경우에는 폰트 지정을 어떻게 해야하나요?폰트 지정을 안하니 글자까 개져서 나와요
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
질문 : for문 풀어쓰기
안녕하세요. 선생님.해당 강의에서 아래와 같이 for문을 한줄에 쓰셨는데요?FAANG=["META", "AMZN", "AAPL", "NFLX", "GOOGL"] faang_list=[fdr.DataReader(code,'2015','2021')["Close"]for code in FAANG] df_faang=pd.concat(faang_list, axis=1)제가 이걸 으로 시작해서 두줄에 풀어썼는데... 에러가 나는데요? 혹시 어느 부분이 잘못되었는지 알려주실수 있으신지요?FAANG=["META", "AMZN", "AAPL", "NFLX", "GOOGL"] for code in FAANG: faang_list=[fdr.DataReader(code,'2015','2021')["Close"]for code in FAANG] df_faang=pd.concat(faang_list, axis=1)