인프런 커뮤니티 질문&답변

심호준님의 프로필 이미지
심호준

작성한 질문수

[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

텍스트를 포함하는 태그 찾기 (feat.정규표현식)

첫페이지 크롤링하기 오류

작성

·

318

0

안녕하세요!! 바꿔서 올려주신 강의자료 복사해서 사용해도 작동하지 않습니다!!

맥북 사용중이라 혹시나해서 유저 에이전트 값을

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 으로 변경해서 진행했는데도 값이 나오지 않아요!! 확인부탁드립니다.!

 

import requests
from bs4 import BeautifulSoup

main_url = "https://www.coupang.com/np/search?component=&q=usb%ED%97%88%EB%B8%8C&channel=user"


# 헤더에 User-Agent, Accept-Language 를 추가하지 않으면 멈춥니다

header = {

    'Host': 'www.coupang.com',

    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36',

    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',

    'Accept-Language': 'ko-KR,ko;q=0.8,en-US;q=0.5,en;q=0.3',
}

response = requests.get(main_url, headers=header)
html = response.text
soup = BeautifulSoup(html, 'html.parser')

links = soup.select("a.search-product-link") # select의 결과는 리스트 자료형
print(links)

답변 1

0

스타트코딩님의 프로필 이미지
스타트코딩
지식공유자

안녕하세요.

코딩을 가장 쉽게 알려주는 크리에이터 스타트코딩입니다!

 

보내주신 코드로 테스트 해봤을 때

결과가 잘 출력 되고 있는데요, 혹시 오류나 결과물이 어떻게 출력 되고 있을 까요?

image저는 이런 식으로 잘 나오고 있습니다 :)

 

 

심호준님의 프로필 이미지
심호준
질문자

안녕하세요 스타트업 코딩님!!!

오늘 다시 해보니까 돌아갑니다!!! ㅠㅠ 신기한게 다시 또 한참 수업 따라 듣고 실습하다가 돌아가서 똑같이 실행하면 다시 안되더라구용!! 다시 재부팅 하고 나니까 또 돌아가는거 보면, 실습하면서 문제? 가 발생하는 구조인가봐요! 창 다끄고 실행해도 안됩니다.

스타트코딩님의 프로필 이미지
스타트코딩
지식공유자

동작하다가 동작하지 않다가 하는 것은

바로 정확한 원인을 파악하기 힘듭니다.

 

코드 상에 문제가 있다기 보다

  1. 서버 쪽에 많은 요청을 한번에 보내서 잠시 Lock이 걸린 경우

  2. 시스템(프로그램이나 운영체제 쪽)에 문제가 있는 경우

두 가지 중 하나 일 것 같네요!

 

우선 time.sleep을 적절히 줘 가면서 테스트 해보시기 바랍니다 :)

심호준님의 프로필 이미지
심호준

작성한 질문수

질문하기