묻고 답해요
148만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
파싱에서 BeautifulSoup질문
패턴으로 실습하며 익히기: 크롤링 코드 패턴으로 익히기2 10:193번 웹페이지 파싱하기에서 BeautifulSoup(res.content,"html.parser") 에서질문이 있습니다 BeautifulSoup은 함수가 아니라 라이브러리인데BeautifulSoup(인자1,인자2)형태인지"html.parser"는 왜 따옴표를 붙여줘야하는지 BeautifulSoup( , )은 어떤 역할을 하는것인지입니다
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
bs4라이브러리
패턴으로 실습하며 익히기: 크롤링 코드 패턴으로 익히기1 from bs4 import BeautifulSoup에서 bs4라이브러리에서 BeautifulSoup를 가져오는게 이해가 안됩니다 원래는 일반적으로 라이브러리에서 함수를 가져오는데 이거는 라이브러리에서 라이브러리를 가져오네요 라이브러리 중에서도 더 큰 놈이 있고 작은놈이 있는건가요?
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
네이버 쇼핑 리뷰 크롤링 관련
네이버 스마트 스토어의 리뷰들을 크롤링해보려고 시도하던 중 잘 되지 않아 문의드립니다.강의에서 배운대로 개발자 도구 이용해서 html 정보(?)를 가져와서 상품명과 같은 상단의 내용들은 잘 가져와졌습니다.그런데, 리뷰쪽은 [] 으로 결과가 계속 나오고 있어 찾아보니 많은분들이 selenium 패키지를 써서 하더라구요..혹시 selenium으로 꼭 해야할까요?BeautifulSoup으로 select 로 추출할 수 없는 것인지 궁금합니다.
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
맥에서 설치 완료 후 아나콘다 네비게이터 실행이 안됩니다. ㅠㅠ
설치 완료 메세지가 떴는데, 막상 아나콘다 네비게이터 실행이 안됩니다.. ㅠㅠ유저네임도 소문자로 바꾸고,다운로드 위치도 /Users/sewon/anaconda3/Anaconda-Navigator.app위와 같이 시도해 봤는데 실행이 안됩니다.. ㅠㅠ강사님이 알려주신대로, 아나콘다 네비게이터 앱을 실행하면잠깐 하단에 아이콘이 생겼다 사라지고, 실행은 되지 않습니다.또, 아래 이미지와 같이 세부 폴더 안에 있는 아나콘다 네비게이터를 열면, 응용프로그램을 열 수 없다는 메세지가 뜹니다.어떻게 해결해야할까요? 네비게이터 없이 주피터 노트북을 실행할 수 있는 방법은 없을까요? 답변 부탁드립니다. ㅠㅠ
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
while 무한반복문 질문
문제를 풀며 가장 자연스럽게 익숙해지는 파이썬 기본: 반복문 익히기2 12:10while 1: 하면 무한반복이라 하셨는데요1은 참이고 0은 거짓이라고 해서 while 0:도 해보니 안되는것 확인했습니다 그런데 2나 3이나 "x" "a"이런것으로도 해보니 1처럼 다 무한반복이 되더라고요 이것들은 왜 그런 것인가요?
-
미해결파이썬 셀레니움 고급편 (python selenium - 크롤링, 크롤러)
User Agent Data 변경하는 법 강의에서 아래처럼 계속 오류가 생깁니다..
User Agent Data 변경하는 법 강의에서 아래처럼 계속 오류가 생깁니다.. 코드는 동일하게 입력한 것 같은데..왜 그런 걸까요..? selenium.common.exceptions.InvalidArgumentException: Message: invalid argument: Invalid parameters(Session info: chrome=114.0.5735.110) import requests from user_agents import parse from selenium import webdriver from selenium.webdriver.chrome.options import Options import chromedriver_autoinstaller import random, time, os chromedriver_autoinstaller.install() def make_user_agent(ua, is_mobile): user_agent = parse(ua) model = user_agent.device.model platform = user_agent.os.family platform_version = user_agent.os.version_string + ".0.0" # 모바일 기준이다 version = user_agent.browser.version[0] print('version: ', version) ua_full_version = user_agent.browser.version_string print('ua_full_version: ', ua_full_version) architecture = "x86" print(platform, ' platform') if is_mobile: platform_info = "Linux armv8l" else: # Window platform_info = "Win32" RET_USER_AGENT = { "appVersion" : ua.replace("Mozilla/", ""), "userAgent" : ua, "platform" : f"{platform_info}", "acceptLanguage": "ko-KR, kr, en-US, en", "userAgentMetadata": { "brands" : [ {'brand': 'Not.A/Brand', 'version': '8'}, {'brand': 'Chromium', 'version': '114'}, {'brand': 'Google Chrome', 'version':'114'} ], "fullVersion": f"{ua_full_version}", "platform" : platform, "platformVersion": platform_version, "architecture" : architecture, "model": model, "mobile": is_mobile } } return RET_USER_AGENT pc_device = ["1920,1440","1920,1200","1920,1080","1600,1200","1600,900", "1536,864", "1440,1080","1440,900","1360,768" ] mo_device = [ "360,640", "360,740", "375,667", "375,812", "412,732", "412,846", "412,869", "412,892", "412,915" ] width, height = random.choice(pc_device).split(",") UA = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36" options = Options() UA_Data = make_user_agent(UA, True) # 랜덤 쿠키 생성하기 # ** 1~100의 숫자 이름의 폴더 밑에 쿠키를 생성해서 저장한다 rand_user_folder = random.randrange(1, 100) userCookieDir = os.path.abspath(f"./cookies/{rand_user_folder }") if os.path.exists(userCookieDir) == False: print(userCookieDir, "폴더가 없어서 생성함") os.mkdir(userCookieDir) options.add_argument(f"user-data-dir={userCookieDir}") options.add_argument(f'--user-agent={UA}') options.add_argument(f'--window-size={width}, {height}') driver = webdriver.Chrome(options=options) driver.execute_cdp_cmd("Network.setUserAgentOverride", UA_Data) driver.get('https://google.com') driver.set_window_position(500, 500) input()
-
미해결업무 자동화를 위한 파이썬 pyautogui, beautifulsoup 크롤링 기초
에러가 너무 납니다.
맥북을 사용하는 유저인데,pyautogui.click(i) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 594, in wrapper returnVal = wrappedFunction(*args, **kwargs) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 985, in click x, y = _normalizeXYArgs(x, y) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 663, in _normalizeXYArgs location = locateOnScreen(firstArg) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 172, in wrapper return wrappedFunction(*args, **kwargs) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 210, in locateOnScreen return pyscreeze.locateOnScreen(*args, **kwargs) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyscreeze/__init__.py", line 375, in locateOnScreen screenshotIm = screenshot( File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyscreeze/__init__.py", line 527, in screenshotosx if tuple(PIL__version__) < (6, 2, 1):TypeError: '<' not supported between instances of 'str' and 'int' 아래와 같은 에러가 지속적으로 발생하는데 무엇이 문제일까요?
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
"쿠팡 제품 검색 결과 크롤링" 강의를 응용해서 타오바오 사이트에서 해보려고 하는데,,
"쿠팡 제품 검색 결과 크롤링" 강의를 응용해서 타오바오 사이트에서 해보려고 하는데,자꾸 안돼서 아래와 같이 print(html) 했더니뭔가 차단된거 같은 html 막 쭉 뜨네요 이럴때는어떻게 해야하나요?req = requests.get(links, timeout=5, headers=headers, cookies=cookie)html = req.textsoup = BeautifulSoup(html, "html.parser")print(html)
-
해결됨[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
심화 학습
안녕하세요.강의 잘 들었습니다.대부분의 사이트는 셀레니움과 bs4, requests 를 조합하면 정보를 가져올 수 있지만, 문제는 동적 사이트의 경우 시간이 걸린다는 점 입니다.예를 들어, 네이버 지도를 대상으로 필요한 데이터를 가져올 때, 저의 경우는 100개의 가게 정보를 모두 가져오는데 5~6분 정도가 소요되는 반면, 크롤링을 전문적으로 하시는 분들은 더 빠르게 작업을 완료하시는 것 같더라구요.자세히는 모르겠지만 패킷 등등의 기술을 활용하시는 것 같은데, 이런 내용을 학습할 수 있는 방법이 있을까요?크롤링을 활용해서 부업을 하려고 했는데, 막상 전문적으로 하시는 분들을 보니, 상대가 될 것 같지 않은 답답한 마음에 질문 드렸습니다.
-
해결됨일잘하는 마케터, MD에게 꼭 필요한 파이썬 데이터 분석
실습 엑셀 파일 문의
섹션 5 프로펫 강의에 있는 '주방용품 매출' 데이터는 어디서 받을 수 있나요?? 항상 링크로 남겨주셨는데 보이지 않아 문의드립니다.!
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 기본편
파이썬 설치 관련문의
명령창에서 python치면 microsoft store 설치하라고뜨는데 이게 맞나요?
-
해결됨[웹 개발 풀스택 코스] Node.js 프로젝트 투입 일주일 전 - 기초에서 실무까지
추가 강의 좀 올려주시면 감사하겠습니다^^
[섹션0_Node.js 기초 다지기] 파트에서MySQL 연동하기 동영상 강좌에는 13_app_mysql.js 파일까지 강의가 진행되었는데정적파일처리 영상을 보게 되면 16_static.js로 강의부터 강의가 진행되다보니뭔가 좀 이상하다 싶어 우연히 발견하게 되었습니다.14_route.js 파일 영상과 15_app_route_module에 관련된 동영상 강의가 없어서 문의 드립니다.
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 기본편
오류가떠요
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 기본편
오류가떠요!!!
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 기본편
코드진행이 안되는데 어떻게하죠?
분명 뷰티풀수프랑 bs4도 request 도 다 깔렸는데 실행 자체가 안돼요미치겠네요 혹시 다른버전인지도 확인해봤는데다 눌러봐도 다 실행이 안돼요이거 어떻게해야하죠?파이썬 리셋시키고 하는방법이 있나요?
-
미해결파이썬 텍스트 분석 입문 - 데이터 수집부터 분석까지
맥 os에서 폰트 경로 지정*코랩 사용
안녕하세요 코랩으로 공부중입니다.워드클라우드 작성시 font_path="C:/windows/fonts/malgun.ttf폰트 경로를 지정해줘야 하는데 운영체제가 mac 일경우에는 폰트 지정을 어떻게 해야하나요?폰트 지정을 안하니 글자까 개져서 나와요
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
질문 : for문 풀어쓰기
안녕하세요. 선생님.해당 강의에서 아래와 같이 for문을 한줄에 쓰셨는데요?FAANG=["META", "AMZN", "AAPL", "NFLX", "GOOGL"] faang_list=[fdr.DataReader(code,'2015','2021')["Close"]for code in FAANG] df_faang=pd.concat(faang_list, axis=1)제가 이걸 으로 시작해서 두줄에 풀어썼는데... 에러가 나는데요? 혹시 어느 부분이 잘못되었는지 알려주실수 있으신지요?FAANG=["META", "AMZN", "AAPL", "NFLX", "GOOGL"] for code in FAANG: faang_list=[fdr.DataReader(code,'2015','2021')["Close"]for code in FAANG] df_faang=pd.concat(faang_list, axis=1)
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
파이참에서 Plotly 그래프 실행방법
안녕하세요. 선생님.저는 파이참을 주로 사용중이어서, 파이참으로 실습중입니다.Plotly의 경우 fig.show()를 하면 웹페이지만 나타나고,아무런 실행이 안됩니다.파이참에서 plotly 그래프를 실행하려면 어떻게 해야하나요?
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
5.1 데이터프레임 병합(merge)
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 5.1에서 df_item_code_name 데이터프레임과 raw 데이터프레임을 병합하려 하는데 아래와 같은 화면이 뜹니다.다른 코드는 다 맞게 작성했는데 여기서 왜 오류가 뜰까요 ㅠㅠ on을 작성하지 않고 그냥 merge만 해도MergeError: No common columns to perform merge on.라고 오류가 뜹니다 ㅠㅠ또한, 맨 처음 전처리 과정에서도 이러한 메시지가 뜨는데 혹시 이것이 원인일지 궁금합니다.
-
미해결[웹 개발 풀스택 코스] Node.js 프로젝트 투입 일주일 전 - 기초에서 실무까지
개발자님이 예시로 해서 Mysql에 넣은 데이터들을 알수있을까요?
안녕하세요. 현재 mysql 연동하기 강의를 듣고 있는데, 개발자님이 예시로 해서 Mysql에 넣은 데이터들을 알수있을까요?