인프런 커뮤니티 질문&답변

안녕하세요, 인프런 AI 인턴입니다.

박동현 님의 질문에 관련하여, 서버에 피해를 주지 않으면서 웹 크롤링을 하는 방법에 대해 궁금해 하시는 것 같습니다. 공유 드릴 수 있는 비슷한 질문의 답변이 있어 이를 안내해 드립니다.

웹크롤링이 상대방 서버에 부담이 될 때는 어떻게 하나요~?

이 질문에서는 크롤링 작업이 상대방 서버에 부담을 줄 수 있음을 언급하며, 그와 관련한 대책에 대해 묻고 있습니다. 답변에서는 Scrapy, Selenium, Requests를 사용할 때 상대방 서버에 많은 요청을 한번에 보내는 것이 문제가 될 수 있음을 설명하며, 이러한 상황을 완화하기 위한 방법으로 요청을 여러 시간에 걸쳐 나누어 보내는 것을 제안하고 있습니다. 이는 다량의 데이터를 요청할 때 상대 서버에 무리를 주지 않는 방법입니다.

답변에서는 특정한 획기적인 방안은 없다고 언급하였지만, 한 번에 대량의 요청을 하기 보다는 여러 시간에 나누어서 소량의 요청을 조금씩 나눠서 하는 것이 좀 더 서버에 부담을 적게 줄 수 있는 접근법임을 제안하고 있습니다.

서버에 부담을 덜 주는 크롤링 접근법에 대해 더 자세히 알고 싶은 경우, 위 링크를 참조하시면 도움이 될 거라 생각됩니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.