인프런 커뮤니티 질문&답변

BBangJun님의 프로필 이미지
BBangJun

작성한 질문수

실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용

네이버 쇼핑 크롤링 2

사용자가 특정 버튼 클릭 후 크롤링하는 로직 작성하는 방법

작성

·

333

0

안녕하세요 강사님.

모든 강의를 수강한 이후에 왜 처음에 beautiful soup로 시작해서 selenium으로 끝이 나는지 절실하게 깨달을 수 있었습니다.

가르쳐 주신 예제를 바탕으로 개인적으로 추가 실습을 진행하면서 크롤링에 대한 이해를 높이려고 하는데 selenium의 경우 특정 버튼을 클릭하여 넘어간 이후에 크롤링이 진행되도록 자동화에 맞추어져 있는 라이브러리임을 알 수 있었습니다.

네이버 예제 화면에 있는 메일, 카페, 블로그, 쇼핑, 뉴스, 증권, 부동산, 지도, 웹툰이 모여져 있는 배너에서 사용자가 특정 버튼을 눌렀을 때 이동한 해당 페이지에서 크롤링을 진행할 수 있도록 자동화하는 예제를 스스로 만들어 공부 중인데 이러한 경우에서 if 메일 if 카페 if 블로그 같은 분기를 바탕으로 작성한 로직 대신 동적으로 사용자가 클릭했을 때의 정보를 가져올 수 있도록 하는 방법이 있을까요? 수많은 버튼이 존재하게 된다면 사용자가 어떤 버튼을 누를지 xpath라던가 class를 특정할 수 없는 경우가 생길 수 있을 것 같아서 질문 드립니다..!

답변 1

0

김플님의 프로필 이미지
김플
지식공유자

제가 질문을 맞게 이해했는지 모르겠지만
클릭을 해서 페이지가 이동하고 url이 변경된다면 현재 페이지의 url을 감지해서 url이 변경되었을때 그 url에 맞춰서 크롤링을 하도록 하면 될 것 같습니다.
그런데 페이지 타이틀이나 h1 태그 등 간단한 정보만 가져오는게 아니라 각 페이지마다 필요한 정보를 골라서 가져오는 거라면 클릭이 예상되는 모든 페이지에 맞춰서 크롤링 코드를 짜야할텐데 일이 매우 커지겠군요.

BBangJun님의 프로필 이미지
BBangJun

작성한 질문수

질문하기