네이버 블로그 크롤링 질문드립니다.

남박사의 파이썬 기초부터 실전 100% 활용

네이버 블로그 검색 결과 크롤링 하기

작성

558

네이버 블로그에 들어가서 강의에서처럼 제목과 간단한 내용을 크롤링 해보려고 하였으나 개발자 도구에서 확인했을때 body태그 안에있는 내용들을 접근해야 하는데 개발자 도구에서 body태그 아래에 있는 자식 태그들이 첨부한 사진에서 처럼 뷰티풀수프로 읽은 값에는 존재하지 않아 크롤링을 어떻게 해야할지 잘 모르겠습니다. json도 써봤는데 아닌것 같습니다. (참고로 개발환경은 강의랑 다르게 파이참을 썼습니다.)

웹 크롤링 python

답변 3

남박사

지식공유자

개발자모드에서 Elements는 이미 모든 스크립이 렌더링 된 최종 결과입니다. 실제 서버에서는 다른 형태로 데이터를 보내주고 이를 브라우저가 받아서 렌더링을 하는 방식으로 동작하기 때문에 실제 서버에서 어떤 데이터를 받는지를 확인해야 합니다.

물론 이는 네이버뿐 아니라 다른 사이트에서도 많이 사용하는 방식입니다.

Grid

질문자

답변해주셔서 감사합니다. 저는 처음에 단순히 개발자모드에서 Elements에서 항목을 찾고 가져오려고 했는데, 해당 페이지가 네이버 블로그에서 검색한 내용을 클릭하면 다른 페이지를 연결해주는 방식이라 실제 데이터를 가져오기 위해서는 다른 방법을 생각해봐야한다는 말씀이신가요?

남박사

지식공유자

개발자도구로 접속하여 서버가 응답한 Response 항목을 보시면 위 이미지에서 처럼 해당 데이터값은 존재하지 않습니다. 페이지가 어떻게 동작하는지 좀 더 분석을 해보셔야 하는 문제입니다.

위 내용에서 실제 데이터는 ajax로 동작하고 SearchList.nhn 이라는 주소에서 가져오는것 같습니다. 다시한번 시도해보시고 실제 데이터가 어디서 나오는지 확인해보시고 다른 작전을 세우시길 바랍니다.

또 궁금하신 사항 있으시면 질문 주시기 바랍니다.

인프런 커뮤니티 질문&답변

네이버 블로그 크롤링 질문드립니다.