인프런 커뮤니티 질문&답변

최범석님의 프로필 이미지
최범석

작성한 질문수

[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

텍스트를 포함하는 태그 찾기 (feat.정규표현식)

첫페이지 크롤링 이 안되네요.

작성

·

398

1

쿠팡 첫페이지 크롤링이 안됩니다.

ㅜㅜ 이건 어떻게 해결을 해야 할까요?

오류 메세지 조차 안나오고 멈춰버려요 ㅠㅜ

터미널에서 확인했을때 커서만 깜빡이고 진행을 안합니다.ㅡㅜ

 

from itertools import product
import requests
from bs4 import BeautifulSoup


main_url = "https://www.coupang.com/np/search?component=&q=%EA%B2%8C%EC%9D%B4%EB%B0%8D+%EB%A7%88%EC%9A%B0%EC%8A%A4"

#헤더에 유저에이전트 추가
response = requests.get(main_url, headers={'User-Agent' : 'Mozila/5.0'})
html = response.text
soup = BeautifulSoup(html, 'html.parser')

links = soup.select("a.search-product-link")
#print(links)

for link in links :
    sub_url = "https://www.coupang.com/" + link.attrs['href']

    response = requests.get(sub_url, headers={'User-Agent' : 'Mozila/5.0'})
    html = response.text
    soup = BeautifulSoup(html, 'html.parser')

    #브랜드명
    brand_name = soup.select_one("a.prod-brand-name").text
    #상품명
    product_name = soup.select_one("h2.prod-buy-header__title").text
    #가격
    product_price = soup.select_one("span.total-price > strong").text

    print(brand_name, product_name ,product_price)
 
 

답변 2

1

최범석님의 프로필 이미지
최범석
질문자

아참 그리고 스타트코딩 다른 플랫폼에 있는  클래스도 함께 들어도 상관없을까요?

스타트코딩님의 프로필 이미지
스타트코딩
지식공유자

네 함께 들어도 상관 없습니다.

기초부터 자동화, GUI 프로그래밍까지 배우려면, 타 플랫폼의 강의가 도움이 될 겁니다 ^^

감사합니다. 

0

스타트코딩님의 프로필 이미지
스타트코딩
지식공유자

쿠팡 사이트에서 업데이트가 있었나 보네요.

 

제가 확인 후 답변드리고,

해당강의내용 수정하겠습니다.

 

우선, 다른 예제 부터 진행해 보세요 :)

최범석님의 프로필 이미지
최범석

작성한 질문수

질문하기