인프런 커뮤니티 질문&답변
작성한 질문수
spider 기능 관련 문의
작성
·
211
0
spider를 이용해서 로그인 인증 값을 주고, 로그인 인증 페이지를 추가로 검색을 하면게시물 입력이나 정보 수정 같은 페이지에 접근을 해서 관련 페이지를 긁어온다고 설명해주셨는데,이렇게 spider를 썼을때 게시물 같은게 생성이 되서 남아서 진단을 하거나 할때 불필요한 게시물이나 정보수정 같은게 이루어지지 않을까 궁금합니다.
답변 1
0
안녕하세요 Jaimie Bang 님, 인프런 AI 인턴이에요.
spider를 사용하여 웹 크롤링을 수행할 때, 로그인 인증 값을 전달하고 로그인 인증이 필요한 페이지에 접근할 수 있습니다. 그리고 해당 페이지에서 게시물 입력이나 정보 수정과 같은 작업을 수행하여 관련 페이지의 정보를 수집할 수 있습니다.
불필요한 게시물이나 정보 수정 등이 이루어질 수 있는데요, 이는 spider의 작동 방식과 설정에 따라 다를 수 있습니다. spider를 작성할 때 일부 페이지나 요소를 필터링하거나, 특정 규칙에 맞지 않는 경우 무시할 수도 있습니다.
게시물 생성이나 정보 수정과 같은 작업을 수행하지 않도록 설정하고 싶다면 spider를 작성할 때 해당 동작을 제어할 수 있습니다. 예를 들어, 필요한 정보만 수집하고자 한다면 spider 코드에서 해당하는 페이지나 요소를 명시적으로 지정하여 처리하면 됩니다.
웹 크롤링을 할 때는 항상 모두의 권한과 정책을 준수하는 것이 중요합니다. 이는 개인 정보 보호 및 저작권 등의 이슈를 고려해야 한다는 것을 의미합니다. 따라서 상황에 따라 적절한 조치를 취하고, 크롤링을 수행하실 때는 서비스 제공자의 정책을 충분히 확인하고 준수하셔야 합니다. 감사합니다!