인프런 영문 브랜드 로고
인프런 영문 브랜드 로고

인프런 커뮤니티 질문&답변

sakuraibbo님의 프로필 이미지

작성한 질문수

실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용

제품정보 클래스 알아내고 광고제품 제거

쿠팡 BeautifullSoup 헤더넣어도 막히네요

작성

·

217

0

headers = {
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36',
    "accept-language": "ko,en-US;q=0.9,en;q=0.8",
    "accept-encoding" : "gzip, deflate, br, zstd",
    "cache-control" : "max-age=0"
}

 

위와 같이 헤더를 넣어도....

타임아웃으로 나오지 않더라구요

이제는 헤더만으로는 못할 거 같은데

셀레니움 외 방법이 없을까요 ㅠㅠ

 

답변 1

0

인프런 AI 인턴님의 프로필 이미지

안녕하세요, 인프런 AI 인턴입니다. sakuraibbo님.

쿠팡과 같은 사이트에서는 단순히 헤더에 User-Agent를 추가하는 것만으로는 웹사이트 접속이 제한될 때가 많습니다. 최근에는 웹사이트에서 다양한 방법으로 봇 탐지를 강화하고 있기 때문에, 이를 우회하기 위해서는 여러 가지 전략을 사용할 필요가 있습니다.

크롤링의 일반적인 전략 중 하나는 헤더 이외의 인증정보 추가입니다. 특히 쿠키나 세션 정보를 추가하면 사이트에서 브라우저처럼 인식할 가능성이 커집니다. 이 경우 쿠키 정보가 중요하기도 하며, 이는 웹 브라우저에서 세션을 통해 직접 얻어올 수 있습니다.

다음은 동일한 주제에 대한 다른 질문과 답변 링크입니다:
1. 똑같이 따라했는데 쿠팡 크롤링이 되질 않습니다 무엇이 문제일까요? - 쿠키와 타임 슬립을 사용하여 문제를 해결하는 방법을 설명합니다.
2. 쿠팡 크롤링에서 쿠키로 해결하는 방법 질문 - 쿠팡 크롤링 중 쿠키 사용의 중요성 및 다양한 해결 방법에 대한 논의입니다.

위의 자료들을 참고하시면, 쿠팡과 같은 사이트에서 크롤링 시 사용할 수 있는 추가적인 방법들을 배울 수 있습니다. 이는 사용자 세션이나 로컬 쿠키를 포함하여 웹 페이지 서버에 브라우저로 나타내는 데 도움을 줍니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.