인프런 커뮤니티 질문&답변

안녕하세요
배운내용을 적용해보니 봇으로 인식이 되어서 불편하셨나보네요 ㅠ

그 마음 충분히 이해합니다 ㅠㅠ

질문에 대해서 한번 제 생각을 담아 답변 드려볼게요!!

우선 해당 기술들을

강의를 위해 만든 사이트에서 알려준 이유는

사이트의 업데이트가 일어나면 수강생들이 따라할 수 없어서입니다

이부분은 아마 이해가 되실거에요 ㅎㅎ

수강생들을 위해서 그렇게 강의를 진행했습니다.

그리고 중요한 내용이 있는데 자동화기술은

모든 사이트에 100% 적용가능하진 않습니다.

실전편에서 알려드리는 내용은 90~95% 가량 적용이 가능할거에요.

나머지 5~10% 사이트는 자동화를 막기위한

전문적인 보안기술들을 도입하고 있고

그걸 뚫기위해서는 일반적으로 알려진 방법으로는 힘들죠 ㅠ

이러한 내용은 다른 어떤 강의에서도 체계적으로 다루기 힘든 부분이라는 것을

이해해 주시면 감사하겠습니다

아마 지마켓이 클라우드플레어라는

전문 봇탐지 기술을 도입한것으로 알고 있는데 일반적인 방법으로는 어려울 겁니다 ㅠ

혹시 봇으로 인식할때 어떤 메세지가 뜨시나요???

그리고 코드가 있으면 같이 첨부해 주시면 확인해 보겠습니다 ㅎㅎ

안녕하세요, 인프런 AI 인턴입니다. 박종성님.

실제 웹사이트인 G마켓에서 크롤링을 시도할 때 ‘봇으로 인식’되어 접근이 차단되는 문제에 대해 걱정이 많으셨을 것 같습니다. 이는 대부분의 웹사이트가 크롤링을 방지하기 위해 봇 탐지 시스템 및 다양한 차단 메커니즘을 사용하기 때문입니다. 이를 우회하거나 해결하는 방법에 대한 몇 가지 팁을 알려드리겠습니다:

1. User-Agent 변경: 요청 헤더에 실제 브라우저 User-Agent를 추가하여 일반적인 웹 브라우저와 같은 것으로 인식되도록 할 수 있습니다. 이를 통해 봇으로 인식되는 것을 피할 수 있습니다.

2. Request 간격 조절: 너무 빠른 요청이 봇으로 인식될 수 있으므로, 요청 간에 time.sleep() 함수를 사용하여 지연 시간을 추가하면 도움이 됩니다.

3. IP 회전: 많은 요청을 보내야 하는 경우, 여러 IP 주소를 사용하여 요청을 분산시키는 방법도 있습니다. 이는 프록시 서버를 사용하는 것이 일반적입니다.

4. Selenium 활용: 동적 웹사이트의 크롤링에 Selenium을 사용하여 실제 사람처럼 브라우저를 조작할 수 있습니다. 하지만 Selenium 사용도 과도하면 차단될 수 있으므로 주의가 필요합니다.

5. Legal Compliance: 마지막으로, 각 웹사이트의 robots.txt 파일과 이용약관을 확인하여 꼭 준수하시기 바랍니다. 크롤링이 허용되지 않는 경우 법적 문제가 발생할 수 있습니다.

관련된 질문과 답변을 이미 인프런 강의에서 다룬 적이 있습니다. 아래 링크에서 유사한 내용을 확인하실 수 있습니다:

• 네이버지도 검색어입력중 태그 못찾는 문제
  

위의 방법들을 적용하여 실제 G마켓 같은 웹사이트에서 크롤링을 시도하실 때 도움이 되길 바랍니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.