Pagesource에 명시적으로 드러나지 않은 정보의 크롤링

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

작성

256

안녕하세요. 강의를 듣다가 제가 원하는 내용을 정확히 찾지 못해 문의드립니다.

현재 제가 크롤링하고싶은 데이터가 pagesource에 명시적으로 나오지 않는데요, 이러한 데이터입니다.

url은 https://datalab.naver.com/local/trend.naver 인데요, 저렇게 마우스를 가져다대면 나오는 숫자들을 날짜와 함께 크롤링하고 싶습니다. 그런데 문제는 pagesource를 봐도 저런 숫자들이 어떤 태그 아래 저장되어 있는지 나오지 않네요. ctrl+f로 검색해보니 "연건동"같은 string은 아예 등장하지도 않구요. 이런 데이터를 크롤링하기 위해서 참고할 수 있는 강의가 있을까요?

selenium scrapy 웹-크롤링

답변 4

잔재미코딩 DaveLee

지식공유자

넵 다음 글은 이후에 이어지는 글인데... 검색 방법이나, 궁금한 부분들을 찾을 수 있는 팁을 넣은 것인데, 유의사항도 함께 넣은 것이긴 하네요. 추가로 본 강의의 선수 강의인 파이썬 입문과 크롤링 부트캠프 에서 naver open API 사용법을 설명드렸고, 본 강의에서 naver open API 를 scrapy 와 함께 사용하는 케이스도 설명드렸는데요. naver open API 중에 데이터랩 과 쇼핑 인사이트 데이터를 가져올 수 있는 API를 다음과 같이 제공합니다. 강의 내의 설명을 통해 Open API 사용법을 익힌 후, 다음 API 에 적용해서 이를 사용해보셔도 좋을 것 같고요. Open API 는 제공하는 정보 이외의 추가적인 정보를 가져올 수는 없지만, 제공하는 정보는 확실히 공식적인 방법으로 가져올 수 있기 때문에, 참고하시면 좋을 것 같습니다.

https://developers.naver.com/docs/datalab/search/

감사합니다.

S Kim

질문자

넵 친절한 답변 감사드립니다! 참고하도록 하겠습니다.

S Kim

질문자

안녕하세요. 빠른 답변 감사드립니다! 말씀하신 "다음 글" 이란 아래의 주의사항인지요? 혹은 링크를 주셨는데 잘린 건지 궁금합니다.

잔재미코딩 DaveLee

지식공유자

안녕하세요. 관련 그래프는 javascript 등, 완전히 다른 언어로 되어 있을 가능성이 높아보입니다. 그래서, 저런 데이터를 뽑으려면 관련 언어도 이해해야 하고, 경우에 따라서는 하나의 프로그램 안에서 처리가 되기 때문에, 크롤링은 불가능할 수도 있습니다. 네이버 데이터쪽은 naver open API 를 사용할 수도 있을 것 같습니다.

마지막으로 다음 글도 읽어보시면, 훨씬 도움이 되실 것 같습니다.

질문하시기 전에, 다음 내용을 확인해주시면 훨씬 도움이 되실꺼예요.

첫번째, 질문 전 검색은 필수! google.co.kr 에서 질문에 대해 검색해보세요!

에러 메시지는 맨 마지막 라인을 복사해서 구글에서 검색해보시고, 질문에 대해서는 질문 관련 키워드들을 조합해서 구글에서 검색해보세요.

개발자들은 모두 이를 통해, 답변을 얻습니다. 한발짝 나아 가시려면, 반드시 이런 연습이 꼭 필요합니다.

사실 검색 없이 질문을 통해, 바로 답을 얻는 부분은 장기적으로는 큰 의미가 없어요. 궁극적으로는 프로그래밍은 답을 찾는 연습을 하셔야 합니다.

저는 한가지 확인이 필요한 사안을 위해, 20 ~ 30분 검색과 10개 이상의 블로그를 찾아보는 일을 하루에도 한두번씩 한답니다.

검색이 처음이신 분들은 개발자를 위한 정보 검색 팁을 참고하시면 훨씬 성장하시는데 도움이 되실 것입니다.

두번째, 각 강의마다, 다른 분들께서도 이미 질문하신 사항들이 있습니다.

해당 부분을 확인해보시면, 답변을 기다릴 필요 없어서, 훨씬 도움이 되실 것 같습니다.

세번째, 각자 작성하신 코드 에러의 경우는

제가 제공해드린 코드자료를 수정하지 않고, 단계별로 그대로 실행해보신 후, 해당 코드와 자신의 코드가 어떤 부분이 다른지를 단계별로 확인해보시면, 훨씬 좋습니다.

이런 부분도 개발자가 기본적으로 수행하는 작업이라서요. 반드시 필요한 부분이고, 훨씬 성장하시는데 도움이 되실 꺼예요.

마지막으로, 질문은 어느 강의 영상의 어느 구간(가능하다면 몇분 몇초)에 대해 질문하시는 것인지 꼭 명기해주세요.

그래야 맥락이 이해가 가서, 보다 좋은 답변할 수 있습니다. 구간 명기가 가능하지 않다면, 강의 영상 외적인 문의인지에 대해 확인 부탁드립니다. 본 질문 답변 란은 강의 영상 이해를 돕기 위한 자리라서요. 극히 일부 분들이지만, 일종의 보고서나, 개인 코드 수정, 각자 원하시는 코드나 웹사이트 크롤링을 문의하시는 경우도 있었는데요. 이런 부분들은 강의 외적인 부분이고요. 저희가 온라인 수학강의를 듣는다고, 수학강의에서 나온 공식을 사용한 어떤 문제든 풀어달라고 요청하는 경우는 없죠. 이런 부분들은 강사도 원하시는 프로그램을 직접 작성해봐야 하는 것이고요. 현실적으로 무리가 되겠죠. 특히 평생 수강이 가능하기 때문에, 평생 어떤 문의든 하든 지원을 해드리는 것은 더군다나 무리가 있어서요. 강의 영상에 대한 문의만 해주시면 좋을 것 같습니다. 무리가 되는 요청은 상처가 됩니다. 좋은 강의가 선순환될 수 있도록, 이런 부분은 양해를 부탁드립니다.

잔재미코딩 Dave Lee 드림

인프런 커뮤니티 질문&답변

Pagesource에 명시적으로 드러나지 않은 정보의 크롤링