페이지 주소가 바뀌지 않는 경우

파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)

크롤링해서 엑셀 파일로 데이터 저장하기2 (업데이트)

작성

1.4K

안녕하세요 강사님

4분 2초 와 관련한 질문입니다.

1페이지부터 10페이지까지의 상품 목록을 크롤링할때 페이지 주소가 변경되는 것을 이용해서 for문을 작성해서 추출하셨는데,

어떤 사이트는 1페이지에서 2페이지로 목록을 넘기더라도 주소창이 동일하더라구요

이런 경우에는 여러개의 페이지에 있는 목록을 크롤링 하고 싶으면 어떻게 하나요?

아래 주소가 첫번째 페이지 주소이고,

http://www.saramin.co.kr/zf_user/search?search_area=main&search_done=y&search_optional_item=n&searchType=default_mysearch&cat_cd=309

아래가 두번째 페이지 주소입니다.

http://www.saramin.co.kr/zf_user/search?search_area=main&search_done=y&search_optional_item=n&searchType=default_mysearch&cat_cd=309

"강의와 관련되지 않는다고 생각하시면 답변 남겨주시지 않아도 괜찮습니다!"

웹 크롤링 python

답변 2

김서현

질문자

호오... 제 수준엔 아직 너무 어려운 걸 원했네요 ㅋㅋㅋ

답변감사드립니다.

강의 계속 수강해서 언젠간 꼭...! 시도해보도록 할게요!

잔재미코딩 DaveLee

지식공유자

안녕하세요. 초를 남겨주셔서 저도 질문을 잘 이해할 수 있었어요. 감사합니다.

웹페이지 구현에 상당히 다양한 케이스가 많고 갈수록 더 다양한 기술을 사용하기 때문에

가장 모든 케이스를 다 해결할 수 있는 방법은

크롤링 중급 강의에서 나오는 현존 최강 크롤링 기술: Scrapy와 Selenium 정복

selenium 을 사용해서, 크롤링하는 방법입니다.

이외에 해당 케이스는 각 페이지 주소 관련 정보를 URL 에 붙여서 넣어주지 않고, 다른 방식으로 넘겨줄 수가 있습니다. POST 방식이라고 하는데요. POST 방식은 어떤 식으로 데이터가 넘어가는지를 복잡한 방식으로 체크를 해서 (심지어 경우에 따라서는 코드를 체크할 필요가 있음) 다음 블로그와 같은 예와 같이 어떤 데이터가 넘어가는지 확인해서, post 방식으로 request를 날려주는 방식도 가능합니다. 이 부분은 방식이 조금 복잡해서, 상세한 별도 강의가 필요한 부분이긴 하지만, 간략히 다음 링크로 개괄적인 부분은 이해하실 수 있을 것 같습니다.

https://darrengwon.tistory.com/451

감사합니다.

인프런 커뮤니티 질문&답변

페이지 주소가 바뀌지 않는 경우