인프런 커뮤니티 질문&답변
작성한 질문수
쿠팡 사이트 접속 제한은?
해결된 질문
작성
·
694
1
강의 잘 들었습니다!
쿠팡 사이트에 여러번 시도를 하니까
엑세스 디나인이 뜨더라구요.
강사님은 혹시 이것이 발생하는 주기를 알고 계실까요?
예)
1분에 10번 이상 접속 시도시 차단.
차단되면 1일 후 이용 가능.
이런 대략적인 정보나? 경험이 있으면 알려주시면 감사하겠습니다!
답변 2
1
어떤 코드를 넣어서 사람처럼 보이느냐의 문제가 아닙니다.
일반 웹사이트가 사람이 아닌걸 막는다면 결국 검색 로봇도 막게 되는겁니다.
대부분의 웹사이트에서 차단 당할때는 로봇이냐 사람이냐의 문제가 아닌 경우가 많다는거죠.
짧은 시간안에 사람이라면 불가능한 정도의 데이터 수집, 접속 횟수 등 사람이라면 불가능한 작업들이 있죠.
결국 요청 주기가 관건인데
예전에는 짧은 시간에 꽤 많이 요청해도 차단이 잘 안됐었습니다.
그런데 쿠팡파트너스를 하는 사람이 많아지면서 크롤링 시도도 많아져서 그런지 점점 별거 안한것 같은데 차단되는 일이 많아지고 있습니다.
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": """ Object.defineProperty(navigator, 'webdriver', { get: () => undefined }) """})
추가하신 코드 이것도 도움이 될수는 있겠지만 100% 보장되는 건 없습니다.
결국 해결책은 적당한 요청 주기와 차단 당했을때는 아이피 교체정도가 될겁니다.
1
제가 정말 많이 해봤는데 어떨때는 몇번 안해도 차단당하고 어떨때는 꽤 길게 버팁니다.
주기를 알수는 없으나 1분에 10번을 시도해도 차단 당할때도 있고 아닐때도 있습니다.
그리고 차단되면 어느정도 시간뒤에 풀리는지도 천차만별이었습니다.
다음날 바로 풀리는 경우도 있었고 며칠 지나고 풀리는 경우도 있었거든요.
기본적으로 짧은 시간에 여러번 시도는 피하시고 아이피를 바꿀수 있는 환경에서 크롤링 하는게 가장 속편하고 좋습니다.
답변 감사합니다! 파이썬에서 로봇 접속이 아니게 위장할 수는 없는 건가요?
구글링 해서 해본 결과..
-아래 코드를 추가 했지만, 별 차이가 없네요.
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": """ Object.defineProperty(navigator, 'webdriver', { get: () => undefined }) """})
-크롬 드라이버를 실제 pc에 설치된 크롬으로 로드해서 해봤는데, 그래도 잡히더라구요.
아예 피하거나 위장할 수 있는 방법은 없는건가요?
상세한 답변 감사합니다!