인프런 커뮤니티 질문&답변

복회장님의 프로필 이미지
복회장

작성한 질문수

남박사의 파이썬 기초부터 실전 100% 활용

[삭제예정] 네이버 실시간 검색어 크롤링 하기

ajax 통신 방식으로 바뀌었을때 대처법을 알고싶습니다.

작성

·

229

1

선생님이 수정해주신 네이버검색어 신규코드를 보면 

아래와같이 표시되는데요 아래의 링크를 어떻게 가져온것인지 궁금합니다. 저도 다른 사이트에서 통신방식이 바뀌었을때 대처하려구요

json = requests.get('https://www.naver.com/srchrank?frm=main').json()

답변 2

0

복회장님의 프로필 이미지
복회장
질문자

네 감사합니다~!

0

남박사님의 프로필 이미지
남박사
지식공유자

결국 저도 브라우저의 개발자모드에서 사이트를 분석하는 방법외에 더 다른 방법을 사용하지는 않습니다. 다만 웹사이트를 많이 만들어보면 대략 어떻게 만들겠구나 하는 정도의 감이 생기는건 사실입니다. 그래서 웹 크롤링을 하는 분들께 웹사이트를 한번이상은 만들어보는걸 추천드리는 편입니다.

예를 들어 오늘자 실시간 검색어를 보자면 9위에 있는 "트럼프" 단어를 search 하면 api 주소가 검색 결과로 나오는걸 볼 수 있습니다. 물론 이렇게 쉽게 해결되는 경우도 있지만 그렇지 않는 경우가 더 많기도 합니다. 최악의 경우에는 사이트에서 사용되는 js 파일들을 하나하나 열어서 분석해봐야 하는 경우도 있습니다.

복회장님의 프로필 이미지
복회장

작성한 질문수

질문하기