인프런 커뮤니티 질문&답변

안효기님의 프로필 이미지
안효기

작성한 질문수

[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

N번째 태그만 선택하기

request와 selenium 차이 질문

해결된 질문

작성

·

259

0

안녕하세요 선생님 기본편 수강 이후 실전편 강의 학습하고 있는 학생입니다!! 기본편 후반부에 selenium을 학습했던 터라 지금 '뉴스 본문 링크 가져오는 방법' 강의에서 선생님께서 직접 먼저 만들어보라고 하신 프로그램을 저도 모르게 selenium을 이용해서 만들려고 했습니다.

그리고 강의를 쭉 이어보니 선생님께서는 requests 라이브러리를 사용하신 것을 확인했습니다. 전에 동적 페이지인지, 정적 페이지인지에 따라 selenium과 requests를 구분해서 사용하신다고 하셨던 것으로 기억하는데, 이번 강의 내용인 뉴스 본문 링크도 정적 페이지라 requests를 사용하셔서 프로그램을 만드신 건지 궁금합니다.

답변 1

0

스타트코딩님의 프로필 이미지
스타트코딩
지식공유자

맞습니다 정적인 페이지라서 requests를 사용해서 크롤링한 겁니다.

 

동적인 부분인지 확인하는 꿀팁을 알려 드리면,

 

구글 개발자 도구 설정에서

Disable JavaScript 가 있습니다. 활성화 한 후

 

페이지를 새로 고치면

동적으로 데이터를 받아 오는 부분은 비어 있습니다.

안효기님의 프로필 이미지
안효기
질문자

감사합니다 선생님!! 더 열심히 강의 듣겠습니다!

안효기님의 프로필 이미지
안효기

작성한 질문수

질문하기