묻고 답해요
148만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨코딩없이 시작하는 엑셀 크롤링. WEB부터 ChatGPT API까지
나라장터 URL 수집
다비 강사님 안녕하세요.강의 너무 잘 듣고 있습니다. 감사합니다. 나라장터 조달청 입찰공고 강의 중 내용을 실습하고 있는데요.몇 일전 나라장터 사이트가 리뉴얼이 되더니 URL 수집이 잘 안됩니다. 개발자 페이지에서 URL을 눌렀을때 preview도 loading중이라고만 뜨고 결과가 안나오며, 검색창에 입력해봐도 마찬가지입니다. 제가 뭘 놓치고 있는걸까요?조언 부탁 드립니다.
-
해결됨코딩없이 시작하는 엑셀 크롤링. WEB부터 ChatGPT API까지
[질문] 네이버쇼핑 - 로그인이 필요한 제품에 가격 가져오기
안녕하세요. 네이버쇼핑에서 어떤 특정 제품은 로그인을 해야 제품 가격을 볼수 있는데요. (레이저 포인터는 19세 이상 구매할수 있어서 성인 인증을 받아야 합니다.)https://search.shopping.naver.com/catalog/11269411900?cat_id=50002931이런경우 파워쿼리로 웹 주소를 넣으면 로그인을 하라고 나오고 더이상 진행이 안 되구요. 말씀하신 네이버API 로 가져와볼려고 했더니 이런식으로 나오고 애플리케이션 등록이 등록이 안 되더라구요. 혹시 API 를 이미 발급 받아서 인걸까요? (API 상태라고 적혀있긴 합니다.)그리고 네이버 API 를 통해서, 네이버 로그인이 필요한 제품의 가격을 가져 올수 있을까요? 가져올려는 것은 아래의 가격 정보를 가져올려고 합니다.
-
미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
selenium 업그레이드됨... 문법도 바뀜
기존 강의에서elem = browser.find_element_by_id("query")였는데이제는elem = browser.find_element("id","query")이렇게 작성해야함 ㅜㅜ계속 AttributeError 떠서 미치는줄 알았는데 구글링해서 찾다보니 나와서 써보니 문법이 바뀐거였음
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
한글폰트 관련해서 문의드립니다.
안녕하세요 다른 쥬피터랩에서 실행하고 있는데요..import koreanize_matplotlib 진행을 했는데도... import koreanize_matplotlibimport matplotlib.pyplot as pltimport seaborn as snsimport pandas as pdfrom pandas.plotting import register_matplotlib_converters# 그래프에 retina display 적용%config InlineBackend.figure_format = 'retina'register_matplotlib_converters() # Matplotlib에서 날짜 데이터를 처리하기 위한 변환기 등록# 데이터 예시 (실제 사용 시 'data' DataFrame이 필요합니다)data = pd.DataFrame({ '등록일시': ['2023-01-01', '2023-02-01', '2023-03-01'], '참가업체수': [10, 15, 20]})data['등록일시'] = pd.to_datetime(data['등록일시'])# '등록일시'를 기준으로 데이터 정렬data_sorted = data.sort_values('등록일시')# 시간에 따른 '참가업체수' 선 그래프 그리기plt.figure(figsize=(12, 6)) # 그래프 크기 설정sns.lineplot(data=data_sorted, x='등록일시', y='참가업체수') # 선 그래프 생성plt.title('시간에 따른 참가업체수 분석') # 그래프 제목 설정plt.xlabel('날짜') # x축 라벨 설정plt.ylabel('참가업체수') # y축 라벨 설정plt.xticks(rotation=45) # x축 눈금 라벨 회전plt.tight_layout() # 그래프 레이아웃 조정# 그래프 표시plt.show()이런 에러가 계속 나서요.. 혹시 어떻게 진행하면...될까요 ㅜㅜ
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
데이터프레임 칼럼명 문의 드립니다.
데이터 프레임 칼럼을 뽑았더니 이렇게 나와요 !! 칼럼에 대한 한글 정보도 알고 싶은데 ㅜㅜ 깃에서 보이는 칼럼명이랑 좀 많이 달라서요!!! 초보다보니 변경된 부분이 좀 있어서 헷갈리는게 많은 것 같아요 ㅜㅜ
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
금융데이터 수집의 모든것
안녕하세요, https://github.com/FinanceData/FinanceDataReader?tab=readme-ov-file 수업듣고 있는데, tutorial 부분에 6개 종류가 더있는 것 같은데 실제 깃에는 2개밖에 없어서요 혹시 2024년 기준으로 업데이트 된 걸까요?? - 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
녹화시점과 현재시점 컬럼명이 변경이 많이 되었을까요?
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
-
미해결LLM 데이터 분석 - 웹 크롤링부터 추천 시스템까지
YouTubeSearchTool 에러
YouTubeSearchTool 사용시requests.exceptions.HTTPError: 403 Client Error:Forbidden for url: https://api.ydc-index.io/search?query= 에러가 납니다.
-
미해결LLM 데이터 분석 - 웹 크롤링부터 추천 시스템까지
selenium chrome driver click시 화면이 공백으로 나옵니다.
from selenium.webdriver.common.by import Byeconomy = driver.find_element(By.CSS_SELECTOR,'#gnbContent > div > ul > li:nth-child(4) > a > span')economyeconomy.click()driver.implicitly_wait(5)시 화면이 공백으로 나오네요
-
미해결R언어 프로그래밍과 데이터분석
p.35 파일 불러오기 질문있습니다.
안녕하세요. 교재를 구매하여 공부하다 질문이 있어 이렇게 남깁니다.p.35 하단 부분에 " 1 )R 파일 불러오기 " 에서 강의 사이트에서 제공되고 있는 ch1_2_2_1.R 파일을 내려 받으라고 하셨는데 어디서 저 파일을 찾아올 수 있는지 모르겠습니다. 감사합니다.
-
미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
2024.08.28 수요일 기준 날씨 정보 가져오기 소스코드입니다 (참고하세요 : ) )
개인적으로 만든거다 보니, 부족한 면이 많습니다. 헷갈리시는 분들이나 조금 어렵다고 느껴지는 분들을 위해서 공유해드려요 !import requests from bs4 import BeautifulSoup ''' [오늘의 날씨] 흐림, 어제보다 00도 높아요 현재 00도 (최저 00도 / 최고 00도) 오전 강수확률 00% / 오후 강수확률 00% 미세먼지 좋음 초미세먼지 좋음 ''' def scrape_weather(): print("[오늘의 날씨]") url = "https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=0&ie=utf8&query=%EB%82%A0%EC%94%A8" res = requests.get(url) res.raise_for_status() soup = BeautifulSoup(res.text, "lxml") cast = soup.find("p", class_="summary").get_text() curr_temp = soup.find("div", class_="temperature_text").get_text().replace("현재 온도", "") # 현재온도 targets = soup.find_all("li", class_="week_item today") min_temp = targets[0].find("span", class_="lowest").get_text() # 최저 온도 max_temp = targets[0].find("span", class_="highest").get_text() # 최고 온도 morning_and_afternoon = targets[0].find_all("span", class_="weather_left") morning_rain_rate = morning_and_afternoon[0].get_text() # 오전 강수확률 afternoon_rain_rate = morning_and_afternoon[1].get_text() # 오후 강수확률 dust_list = soup.find_all("li", class_="item_today") pm10 = dust_list[0].get_text() # 미세먼지 pm25 = dust_list[1].get_text() # 초미세먼지 # 출력 print(cast) print(f"현재 {curr_temp} ({min_temp} / {max_temp})") print(f"강수확률 {morning_rain_rate.strip()} / {afternoon_rain_rate.strip()}") print() print(f"{pm10.strip()}") print(f"{pm25.strip()}") print() if __name__ == "__main__": scrape_weather() # 오늘의 날씨 정보 가져오기
-
미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
24년, 부동산 퀴즈 코드입니다. 참고하세요!!
from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from webdriver_manager.chrome import ChromeDriverManager from bs4 import BeautifulSoup # Setup Chrome options options = webdriver.ChromeOptions() options.add_experimental_option("detach", True) options.add_argument("--user-agent=''") # Initialize the browser browser = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options) # 옵션 추가 - 웹페이지 최대화 browser.maximize_window() # 원하는 웹사이트로 이동 url = "https://realty.daum.net/home/apt/danjis/38487" browser.get(url) # 모든 요소가 로드될 때까지 대기 (최대 10초) WebDriverWait(browser, 10).until(EC.presence_of_all_elements_located((By.CLASS_NAME, "css-1dbjc4n"))) # 데이터 뽑기 시작 soup = BeautifulSoup(browser.page_source, "lxml") # 매물 정보 가져오기 targets = soup.find_all("div", class_="css-1dbjc4n r-1awozwy r-s4x47v r-18u37iz r-17s6mgv r-1m04atk") for idx, target in enumerate(targets): # 가격과 거래 방법 추출 price = target.find("div", class_="css-1563yu1 r-aw03qq r-1wbh5a2 r-1w6e6rj r-159m18f r-1b43r93 r-b88u0q r-rjixqe r-13hce6t r-1ff274t r-13wfysu r-q42fyq r-1ad0z5i") if price: plate = price.get_text().split(" ") use = plate[0] final_price = '' for index in range(1, len(plate)): final_price += plate[index] else: continue # 면적과 층수 정보 추출 area_and_floors = target.find_all("div", class_="css-1563yu1 r-1dnsj32 r-1wbh5a2 r-1w6e6rj r-159m18f r-n6v787 r-majxgm r-14yzgew r-fdjqy7 r-13wfysu r-q42fyq r-1ad0z5i") if len(area_and_floors) >= 2: area = area_and_floors[0].get_text() floor = area_and_floors[1].get_text()[-3:] else: area = "N/A" floor = "N/A" print("=" * 10 + " 매물 {0} ".format(idx) + "=" * 10) print(f"거래 : {use}") print(f"가격 : {final_price}".strip()) print(f"면적 : {area}".strip()) print(f"층 : {floor}".strip()) print() browser.quit()
-
미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
git hub에 push할때 user-agent가 노출되도 상관이 없나요 ?
git hub에 저의 user-agent가 노출되어도 상관이 없을까요 ? git hub에 소스코드를 push하면서 진행을 하고 있는데 괜찮을까요 ?
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기 - 섹션1 [2/2]
데이터 전처리 과정에서 이해되지 않는 부분이 있습니다.import pandas as pdimport FinanceDataReader as fdrdf_krx = fdr.StockListing('KRX') df_krx 로 데이터를 확인했습니다.ㄴ일부 컬럼 (ex.Dept)에 결측치가 있습니다. <- 값이 비어있습니다. Nan 값으로 채워진 것은 아닙니다.ㄴ이 때 info() 메소드와 df_krx.isnull()로 확인해보면 null값이 없는 것으로 나오고 isnull() 또한 모두 false가 나오는데 원인을 모르겠습니다. ㄴ이후 to_csv 메소드를 사용하여 파일을 저장한 후 저장한 파일을 읽어왔을 때는 해당 값들이 NaN 값으로 바뀌어 있는데요. 원인이 무엇일까요?
-
미해결LLM 데이터 분석 - 웹 크롤링부터 추천 시스템까지
강의동영상이 잘못 업로드 된거 같아요
안녕하세요. 강의 듣던 중에 제목과 다른 영상이 있어서 문의 드려요.섹션 5 - 프로젝트 2"Youtube 동영상 댓글분석 - LLM 모델로 감성 분류 및 평점 예측" 동영상이"Youtube 상품 리뷰 영상에서 상품정보를 추출, 요약" 과 동일한 영상입니다.잘못 업로드 된거 같아요확인 부탁드립니다.
-
미해결LLM 데이터 분석 - 웹 크롤링부터 추천 시스템까지
LLM 기능 사용시에 라이브러리 에러 문제
안녕하세요, 선생님 강의 잘 듣고 있습니다.공유 해 주신 코드를 실행 할 때 LLM 기능 사용할 때 에러가 발생되서 실행이 되지 않습니다. 에러코드 첨부 드립니다. ---------------------------------------------------------------------------RateLimitError Traceback (most recent call last)Cell In[14], line 29 26 # Chain 27 llm_chain = prompt | llm | output_parser---> 29 response = llm_chain.invoke({"text": text}) 31 responseFile ~\miniconda3\envs\study\Lib\site-packages\langchain_core\runnables\base.py:2499, in RunnableSequence.invoke(self, input, config) 2497 try: 2498 for i, step in enumerate(self.steps):-> 2499 input = step.invoke( 2500 input, 2501 # mark each step as a child run 2502 patch_config( 2503 config, callbacks=run_manager.get_child(f"seq:step:{i+1}") 2504 ), 2505 ) 2506 # finish the root run 2507 except BaseException as e: 생략 ~ 해결 방법이 있을까요?
-
미해결LLM 데이터 분석 - 웹 크롤링부터 추천 시스템까지
강의에서 소스코드는 어디서 볼 수 있을까요?
찾아봤는데 못찾겠어서 질문 드립니다,,,,
-
미해결파이썬 코드로 배우는 데이터분석
공지
강좌 운영이나 강의 내용에 관해 궁금한 점이 있으면 자유롭게 나누어주세요.교수자, 수강생 누구나 글쓰기와 댓글 쓰기가 가능합니다.
-
해결됨R언어 프로그래밍과 데이터분석
공지
강좌 운영이나 강의 내용에 관해 궁금한 점이 있으면 자유롭게 나누어주세요.교수자, 수강생 누구나 글쓰기와 댓글 쓰기가 가능합니다.
-
해결됨데이터분석 입문
공지
강좌 운영이나 강의 내용에 관해 궁금한 점이 있으면 자유롭게 나누어주세요.교수자, 수강생 누구나 글쓰기가 가능합니다.