인프런 커뮤니티 질문&답변

우주사막님의 프로필 이미지

작성한 질문수

실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용

쿠팡 크롤링을 위한 기본 설정

쿠팡 크롤링에서 쿠키로 해결하는 방법 질문

해결된 질문

23.10.21 01:31 작성

·

625

0

안녕하세요.

쿠팡 크롤링에서 cookie로 실행 안되는(?) 문제 해결하는 영상 보고 있는데요.

status code가 403이 나오는데 괜찮은 건가요? 아래에 작성한 코드도 같이 올렸습니다.

쿠팡에서 header에 user-agent를 넣어주는 것만으로 해결이 되지 않는 이유가 이것만으로는 쿠팡이 브라우저로 접근했다고 인식하지 않아서 인건가요?

 

import requests
from bs4 import BeautifulSoup

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"
}

base_url = "https://www.coupang.com/np/search?component=&q="
keyword = input("검색할 상품명을 입력해주세요: ")
search_url = base_url + keyword

cookie = {"a": "b"}

req = requests.get(
    search_url, timeout=5, headers=headers, cookies=cookie
)

print(req.status_code)

 

답변 1

0

김플님의 프로필 이미지
김플
지식공유자

2023. 10. 21. 10:18

안녕하세요.
해당 영상의 수업자료에 해결 방법이 나와있습니다.