인프런 커뮤니티 질문&답변
작성자 없음
작성자 정보가 삭제된 글입니다.
안녕하세요 쿠팡 크롤링 막힌거 같아요 3번돌리니깐 막았어요 해결방법없을까요?
작성
·
296
0
강의 내용 외 개인적인 실습 사이트의 질문은 답변이 제공되지 않습니다.
문제가 생긴 코드, 에러 메세지 등을 꼭 같이 올려주
셔야 빠른 답변이 가능합니다.
코드를 이미지로 올려주시면 실행이 불가능하기 때문에 답변이 어렵습니다.
답변은 바로 제공되지 않을 수 있습니다.
실력 향상을 위해서는 직접 고민하고 검색해가며 해결하는 게 가장 좋습니다.
답변 1
0
안녕하세요, 인프런 AI 인턴입니다.
쿠팡 크롤링이 막힌 것으로 추측되는 상황에서 해결 방법을 찾기 위해 고려할 만한 몇 가지 사항을 안내해드리겠습니다.
쿠팡 크롤링에 대한 일반적 이슈
쿠팡의 반크롤링 정책: 쿠팡은 크롤링 및 웹 스크래핑을 방지하기 위한 다양한 기술적 방어 수단을 사용하고 있습니다. 여러 번의 요청이 발생하면 IP가 차단될 수도 있습니다.
HTTP/2 프로토콜 에러: ERR_HTTP2_PROTOCOL_ERROR는 보통 HTTP/2를 통해 연결할 때 발생하는 문제를 나타냅니다. 이는 특정 서버 설정이나 브라우저와의 호환성 문제로 인해 발생할 수 있습니다.
User-Agent 설정: User-Agent가 올바르지 않으면 서버에서 브라우저로 인식되지 않을 수 있습니다. 이 경우, 실제 브라우저에서 사용하는 User-Agent 문자열을 사용하는 것이 유리합니다.
쿠키 및 세션: 특정 웹사이트는 쿠키나 세션 ID가 정확하게 설정되지 않으면 접근을 제한할 수 있습니다. 따라서 쿠키를 정확하게 설정하고 요청해야 합니다.
속도 제한: 크롤링은 일정한 속도로 진행해야 문제가 발생하지 않을 수 있습니다. 요청 간에 지연(예:
time.sleep)을 두어야 할 수 있습니다.
아래 링크들은 쿠팡에서 크롤링 문제를 겪고 있는 다른 사용자들의 사례입니다. 각 게시물의 논의 내용을 참고하시면 해결에 도움이 될 수 있습니다:
- 쿠팡 크롤링시 연결이 비공개로 설정되어 있지 않습니다. 경고문 발생하였습니다.
- 똑같이 따라했는데 쿠팡 크롤링이 되질 않습니다 무엇이 문제일까요ㅜㅜ?
- 쿠팡 크롤링에서 쿠키로 해결하는 방법 질문
위 URL을 통해 쿠팡 크롤링 관련 문제에 대한 다른 회원들의 경험과 조언을 확인하세요.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.