묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
엑셀에 저장하기
# 엑셀 저장df.to_excel('naver_finance_crawling.xlsx')이렇게 했을 때 TypeError Traceback (most recent call last) Cell In[25], line 2 1 # 엑셀 저장 ----> 2 df.to_excel('naver_finance_crawling.xlsx', engine_kwargs=None) File ~/anaconda3/lib/python3.10/site-packages/pandas/util/_decorators.py:333, in wrapper(*args, **kwargs) 324 return func(*args, **kwargs) 326 kind = inspect.Parameter.POSITIONAL_OR_KEYWORD 327 params = [ 328 inspect.Parameter("self", kind), 329 inspect.Parameter(name, kind, default=None), 330 inspect.Parameter("index", kind, default=None), 331 inspect.Parameter("columns", kind, default=None), 332 inspect.Parameter("axis", kind, default=None), --> 333 ] 335 for pname, default in extra_params: 336 params.append(inspect.Parameter(pname, kind, default=default)) File ~/anaconda3/lib/python3.10/site-packages/pandas/core/generic.py:2417, in to_excel(self, excel_writer, sheet_name, na_rep, float_format, columns, header, index, index_label, startrow, startcol, engine, merge_cells, inf_rep, freeze_panes, storage_options, engine_kwargs) 2294 @final 2295 @doc(storage_options=_shared_docs["storage_options"]) 2296 def to_json( (...) 2309 storage_options: StorageOptions = None,... 2547 """ 2548 from pandas.io import json 2550 if date_format is None and orient == "table": TypeError: ExcelFormatter.write() got an unexpected keyword argument 'engine_kwargs'Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings... 이런 에러가 발생합니다.열심히 구글링을 해보았지만, 답을 찾을 수 없어서 질문 남깁니다 ㅠㅠpython은 3.10 사용중이고 pandas는 1.3.5 사용중입니다.
-
미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
pd.concat(df, ignore_index=True) InvalidIndexError 해결 방법 문의
안녕하세요.아래 코드에서 마지막 부분에서 에러가 발생하는데 찾아봐도 해결을 못하겠습니다. # 최종 데이터 합치기 df1 = pd.concat(df, ignore_index=True) --------------------------------------------------------------------------- InvalidIndexError Traceback (most recent call last) Cell In[89], line 2 1 # 최종 데이터 합치기 ----> 2 df1 = pd.concat(df, ignore_index=True) File ~\anaconda3\Lib\site-packages\pandas\core\reshape\concat.py:393, in concat(objs, axis, join, ignore_index, keys, levels, names, verify_integrity, sort, copy) 378 copy = False 380 op = _Concatenator( 381 objs, 382 axis=axis, (...) 390 sort=sort, 391 ) --> 393 return op.get_result() File ~\anaconda3\Lib\site-packages\pandas\core\reshape\concat.py:676, in _Concatenator.get_result(self) 674 obj_labels = obj.axes[1 - ax] 675 if not new_labels.equals(obj_labels): --> 676 indexers[ax] = obj_labels.get_indexer(new_labels) 678 mgrs_indexers.append((obj._mgr, indexers)) 680 new_data = concatenate_managers( 681 mgrs_indexers, self.new_axes, concat_axis=self.bm_axis, copy=self.copy 682 ) File ~\anaconda3\Lib\site-packages\pandas\core\indexes\base.py:3875, in Index.get_indexer(self, target, method, limit, tolerance) 3872 self._check_indexing_method(method, limit, tolerance) 3874 if not self._index_as_unique: -> 3875 raise InvalidIndexError(self._requires_unique_msg) 3877 if len(target) == 0: 3878 return np.array([], dtype=np.intp) InvalidIndexError: Reindexing only valid with uniquely valued Index objects ============================ df = []articleNos = ['2433459189','2433504511']for articleNo in articleNos: ind_url = f'https://new.land.naver.com/api/articles/{articleNo}?complexNo=' res = requests.get(ind_url, headers=headers) ind_dict = res.json() article_df = pd.Series(ind_dict['articleDetail']).to_frame().T # articleDetail_df = articleDetail_df[['articl/eNo','articleName','buildingTypeName','realestateTypeName', 'tradeTypeName', 'cityName','divisionName', 'sectionName', 'etcAddress', 'monthlyManagementCost', 'buildingName']] if 'articleFloor' in ind_dict.keys(): articleFloor_df = pd.Series(ind_dict['articleFloor']).to_frame().T article_df = pd.concat( [ article_df, articleFloor_df, ], axis=1 ) else: print(articleNo, '/', 'articleFloor') # articleFloor_df = articleFloor_df[['totalFloorCount','correspondingFloorCount']] if 'articlePrice' in ind_dict.keys(): articlePrice = pd.Series(ind_dict['articlePrice']).to_frame().T article_df = pd.concat( [ article_df, articlePrice, ], axis=1 ) else: print(articleNo, '/', 'articlePrice') # articlePrice_df = articlePrice_df[['dealPrice','allWarrantPrice','allRentPrice']] if 'articleRealtor' in ind_dict.keys(): articleRealtor = pd.Series(ind_dict['articleRealtor']).to_frame().T article_df = pd.concat( [ article_df, articleRealtor, ], axis=1 ) else: print(articleNo, '/', 'articleRealtor') # articleRealtor_df = articleRealtor_df[['realtorName','representativeName','cellPhoneNo','representativeTelNo']] if 'articleSpace' in ind_dict.keys(): articleSpace = pd.Series(ind_dict['articleSpace']).to_frame().T article_df = pd.concat( [ article_df, articleSpace, ], axis=1 ) else: print(articleNo, '/', 'articleSpace') # articleSpace_df = articleSpace_df[['supplySpace','exclusiveSpace']]# article_df = pd.concat(# [# articleDetail_df,# articleFloor_df,# articlePrice_df,# articleRealtor_df,# articleSpace_df, # ],# axis=1# ) df.append(article_df) # 최종 데이터 합치기 df1 = pd.concat(df, ignore_index=True)
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
Practice 58번 예제 반복문이요
선생님 코드를 화면에서는 결과값 55만 출력이 되는데같은 코드로 주피터에서 실행하니 1 3 6 ... 55까지 전부 출력 되는데 왜 55만 출력되지 않는 걸까요?sum = 0for index in range(1, 11): sum = sum + index print (sum )
-
미해결LLM 데이터 분석 - 웹 크롤링부터 추천 시스템까지
강의동영상이 잘못 업로드 된거 같아요
안녕하세요. 강의 듣던 중에 제목과 다른 영상이 있어서 문의 드려요.섹션 5 - 프로젝트 2"Youtube 동영상 댓글분석 - LLM 모델로 감성 분류 및 평점 예측" 동영상이"Youtube 상품 리뷰 영상에서 상품정보를 추출, 요약" 과 동일한 영상입니다.잘못 업로드 된거 같아요확인 부탁드립니다.
-
미해결파이썬 셀레니움 고급편 (python selenium - 크롤링, 크롤러)
execute_cdp_cmd 코드가 작동하지 않습니다.
from user_agents import parse from selenium import webdriver from selenium.webdriver.chrome.options import Options import random, time # 한국에서 개통된 버전은 이런 데이터 들이 필요하다. def make_user_agent(ua, is_mobile): user_agent = parse(ua) model = user_agent.device.model platform = user_agent.os.family platform_version = user_agent.os.version_string + ".0.0" version = user_agent.browser.version[0] ua_full_version = user_agent.browser.version_string architecture ="x86" if is_mobile: # 모바일 버전 platform_info = "Linux armv81" architectur="" else: # PC 버전 platform_info = "Win32" model = "" RET_USER_AGENT = { "appVersion" : ua.replace("Mozilla/", ""), "userAgent" : ua, "platform" : f"{platform_info}", "acceptLanguage" : "ko-Kr, kr, en-US, en", "userAgentMetaData" : { "brands" :[ # 네트워크 탭 확인하고 넣기 {"brand":" Not A;Brand", "version":"99"}, {"brand":"Google Chrome", "bersion":f"{version}"}, {"brand":"Chromium", "version":f"{version}"} ], "fullVersion":f"{ua_full_version}", "platform":platform, "platformVersion":platform_version, "architectur":architecture, "model" : model, "mobile":is_mobile # True, False } } return RET_USER_AGENT pc_device = ["1920,1440","1920,1200","1920,1080","1600,1200","1600,900", "1536,864", "1440,1080","1440,900","1360,768" ] mo_device = [ "360,640", "360,740", "375,667", "375,812", "412,732", "412,846", "412,869", "412,892", "412,915" ] width, height = random.choice(mo_device).split(",") print(width, height) UA = "Mozilla/5.0 (Linux; Android 9; Mi A2 Lite Build/PKQ1.180917.001; AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/127.0.0.0 Safari/537.36'" options = Options() UA_Data = make_user_agent(UA, True) print(UA_Data) #UserAgent 속이기 options.add_argument(f"--user-agent={UA}") options.add_argument(f"--window-size={width}, {height}") options.add_argument("--disable-blink-features=AutomationControlled") driver = webdriver.Chrome(options=options) driver.execute_cdp_cmd("Network.setUserAgentOverride",UA_Data) driver.get('https://www.google.com') input() --아래 코드가 작동하지 않습니다. 이유가 뭘까요?driver.execute_cdp_cmd("Network.setUserAgentOverride",UA_Data) [ 버전 ]python 3.10.10selenium 4.13.0
-
미해결LLM 데이터 분석 - 웹 크롤링부터 추천 시스템까지
LLM 기능 사용시에 라이브러리 에러 문제
안녕하세요, 선생님 강의 잘 듣고 있습니다.공유 해 주신 코드를 실행 할 때 LLM 기능 사용할 때 에러가 발생되서 실행이 되지 않습니다. 에러코드 첨부 드립니다. ---------------------------------------------------------------------------RateLimitError Traceback (most recent call last)Cell In[14], line 29 26 # Chain 27 llm_chain = prompt | llm | output_parser---> 29 response = llm_chain.invoke({"text": text}) 31 responseFile ~\miniconda3\envs\study\Lib\site-packages\langchain_core\runnables\base.py:2499, in RunnableSequence.invoke(self, input, config) 2497 try: 2498 for i, step in enumerate(self.steps):-> 2499 input = step.invoke( 2500 input, 2501 # mark each step as a child run 2502 patch_config( 2503 config, callbacks=run_manager.get_child(f"seq:step:{i+1}") 2504 ), 2505 ) 2506 # finish the root run 2507 except BaseException as e: 생략 ~ 해결 방법이 있을까요?
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
추가 강의 업데이트 있나요?
안녕하세요. 강의 잘 보고 있습니다.이제 강의는 모두 업데이트 완료된 건가요?네이버 부동산 매물도 크롤링으로 자동화 하고 싶은데 혹시 강의로 만드실 계획은 있으신가요?
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
pyinstaller로 exe 파일을 만들었는데 실행하자마자 꺼집니다
vscode에서는 정상적으로 코드가 실행되는데 파일을 만들고 여니까 파일이 열리지가 않네요 ㅠㅠ 어떤 문제일까요
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
수업 자료가 잘못 업로드 되어 있는 것 같습니다~!
- 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다)- 이외의 문의등은 평생강의이므로 양해를 부탁드립니다- 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다- 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요. 섹션1의 6번째 강의(출력 포멧과 입력) 수업 자료를 다운 받았는데 1번째 강의와 같은 예제파일이 들어있습니다(python-question1-web.ipynb) 해당 강의에 맞는 예제 파일로 바꿔주셔야 할 것 같습니다!!
-
미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
유튜브 동영상 다운로드
urllib.error.HTTPError: HTTP Error 400: Bad Request유튜브 동영상을 아래를 통해 요청을 보내면 위와 같이 오류가 뜨는데 어떻게 해야 합니까?yt = pytube.YouTube(url) vids= yt.streams.all()
-
미해결디스이즈 디스커버 디스코드 파이썬봇
똑같이 따라했는데 안되요
디스코드 봇 만들기봇만드는 강의에서 똑같이 따라했고 파일명과 토큰명등 제꺼로 등록해서 했음에도 가장 기본인 인사가 작동하지 않습니다. ㅠㅠ GPT도 토큰확인해보라는데 토큰리셋해봐도 안되요....ㅠㅠ 도와주세요 ! import discordfrom discord.ext import commands app = commands.Bot(command_prefix='/') @app.eventasync def on_ready(): print(f'{app.user.name} 연결 성공') await app.change_presence(status=discord.Status.online, activity=None) @app.command()async def hi(ctx): await ctx.send('Hi there!') app.run('토큰')
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
JSON을 딕셔너리, 튜플 같은 데이터 구조로 볼 수 있을까요?
안녕하세요.패턴으로 실습하며 익히기: 네이버 Open API로 클롤링하기강의를 듣고 있습니다.강의들 듣다 보면 JSON을 '데이터 포맷'이라고 부릅니다.Q1 그런데 이 데이터 포맷이 파이썬 에서 나왔던 변수를 표현하는 데이터 구조인 딕셔너리, 튜플과 비교하면 어떻게 정리할 수 있을까요?인터넷에 찾아보고 다음과 같이 정리했는데, 코멘트 해주시면 감사하겠습니다.딕셔너리는 파이썬에서 일반적인 데이터 구조의 한 종류입니다.JSON은 자바스크립트에서 데이터 교환의 상황에서 쓰이는 데이터 포맷입니다.데이터 구조와 데이터 포맷의 공통점은 둘다 문자열로 표기된다는점입니다.차이점은 데이터 포맷은 포맷 즉 껍데기 이기에 딕셔너리 이외 형태로 불러올 수 있습니다.이에 반해 데이터 구조는 다른 데이터 형태로 불러올 수 없습니다.
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
client_id vs client_key
안녕하세요. 패턴으로 실습하며 익히기: 네이버 OpenAPI로 크롤링하기 강의배우고 있습니다.본 강의에서는 header_params 의 키와 값으로 {'X-Naver-Client-Id':client_id, 'X-Naver-Client-Secret':client_secret}를 쓰시더라구요. 그런데 이게 계속 오류가 나서 GPT에 오류를 점검해달라고 했더니 id대신 key를 쓰라 말했습니다.실제 써보았더니 그제서야 크롤링이 되더라구요. 왜 그런까요?
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
Exercise 16. 조건문 질문
python-question2-web의 16번 조건문에서요~혹시 마지막 elif 대신 else사용해도 같은 값으로 출력되는 거 같은데 이런 경우도 답이 되는 건가요?data1 = int(input())data2 = int(input())data3 = int(input())if data1 <= data2 and data1 <= data3: print (data1)elif data2 <= data1 and data2 <= data3: print (data2)else: print (data3)
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
[RISS 논문 / 상세페이지] requests로는 안 되나 봐요
'검색 결과가 나열된 페이지'에서는 잘 동작하는데, '(링크 타고 들어간) 상세 페이지'에서는 내용물이 안 뽑혀나오네요.사실 원인은 찾았습니다만, 똑같이 해메는 분이 나올 것 같아서 작성합니다(?). (** AI한테 물어봄)(response로 긁어온 html 결과를 갖다주고) 물어보니 방어기법 맞다네요 0w0...
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
Open API에서 GET으로 데이터가불러와지지 않습니다.
안녕하세요.'크롤링을 위한 지식: Open API 쉽게 사용하는 방법' 강의를 듣고 질문 드립니다.아래사 진처럼 웹주소 기입하고 헤더의 키와 밸류에 각각 클라이언트 아이디랑 비밀번호 기입했는데 다음과 같은 오류 메세지가 떴습니다.Q데이터를 가져오는데 뭐가문제일까요>
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
크롤링을 하고 싶은 사이트가 있는데요. 막히네요
response = requests.get('https://kor.lottedfs.com/kr/product/productDetail?prdNo=20000731813&prdOptNo=20000908364&dispShopNo1=10031760&dispShopNo2=10031840&dispShopNo3=10032224') html = response.text soup = BeautifulSoup(html, 'html.parser') response.text 이와 같이 들어가면 캡챠화면이 뜨는데 셀레니움으로 작접들어가는거 말고는 방법이 없을까요?
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
주피터 노북에서 강의자료가 보이지 않아요
섹션1 / 문제를 풀며 가장 자연스럽게 익숙해지는 파이썬 기본: 데이터 타입과 변수, 그리고 출력2 / 6:55에서 질문이 있는데요.강의 자료에 있는 ._python-question1-web.ipynb 파일을 제가 사용하는 폴더에 넣고 주피터 노트북으로 그 폴더를 열면 해당 파일이 보이지 않습니다. 파일명 맨 앞부분에 ._를 지우면 주피터노트북에서 보이긴 하는데 파일이 열리진 않아요 어떻게 해야하나요?
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
크롤링 분석
안녕하세요 크롤링하면서 자기가 원하는 데이터를 분석해보면 빨리 늘거라고 하셔서 하려고 제가 관심있는 사이트에 들어가서 소스를 보는데 요즘에는 소스도 안보여주는건지 제가 못알아보는건지 원하는 데이터를 추출할 수가 없네요웹사이트 소스를 보면서 분석하고 크롤링 공부도 하고 싶은데 이럴 때 할 수 있는 방법이 있을까요?
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
txt 수업 자료는 어떻게 활용하는 거에요?
원래는 강의자료가 pdf 파일로 보기 편하고 학습하기 좋았는데 객체와 클래스1 강의의 수업자료가 txt 파일로 되어있어서 보기 어렵고 어떤 내용인지 잘 모르겠는데 txt파일로 어떻게 학습하면 되나요?