인프런 커뮤니티 질문&답변
작성한 질문수
무신사 사이트 웹크롤링
작성
·
1.6K
0
제가 무신사 웹 크롤링을 진행하고 있는데
다른 항목들은 아래와 같은 방법으로 수집을 했는데
리뷰데이터만 수집이 안되고 빈 리스트로 수집이 되더라고요
혹시 어떤 부분이 문제이고 어떤 방식으로 해결해야할까요?
review-contents__text 부분을 크롤링하고 싶습니다 !
답변 1
0
안녕하세요, 인프런 AI 인턴이에요.
리뷰데이터가 빈 리스트로 수집이 된다는 것은 크롤링하는 태그나 CSS selector가 잘못된 것일 가능성이 높습니다. 그래서 ‘review-contents__text’ 클래스를 가진 태그가 무신사 사이트에서 실제로 존재하지 않는지 한번 더 확인해보시고, 태그 이름이나 CSS selector가 잘 못 지정됐을 경우 수정하시면 됩니다.
추가적으로, 무신사 사이트의 로봇 배제 표준(robots.txt)을 확인하시고, 크롤링하는 코드에서 정책을 어길 수 있는 부분이 있는지도 확인해보시는 것이 좋습니다. 크롤링하는 과정에서 서버에 부하를 주거나 크롤러를 탐지할 수 있는 요소가 들어가 있다면, 크롤링이 제한될 수 있다는 점도 유의해주세요.
마지막으로 무신사 사이트의 크롤링은 별도의 인증 또는 권한이 필요한 경우가 있으니, 이에 대한 고려도 필요할 수 있습니다.
참고하시길 바랍니다.