인프런 커뮤니티 질문&답변

김세종님의 프로필 이미지
김세종

작성한 질문수

[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

html에서 가져오지 못하는 부분이 있어 질문 드립니다.

해결된 질문

작성

·

172

1

import requests
from bs4 import BeautifulSoup

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}

url = 'https://new.land.naver.com/complexes/8928?ms=37.2110479,127.0941727,16&a=APT:ABYG:JGC:PRE&b=B1&e=RETAIL&ad=true&articleNo=2350848148'


article_response = requests.get(url, headers=headers)
html = article_response.text
soup = BeautifulSoup(html, 'html.parser')
items = soup.select(".info_title") #Select의 결과는 리스트자료형

print(items)

안녕하세요. 강의 다 들은지는 꽤 됬는데 beautifulsoup을 오랜만에 사용하려니 막혀서 질의드립니다. ㅠ

url의 네이버 부동산에 들어가서 해당 매물의 중개소 정보를 가져오려고 하는데요.

분명 크롬 개발자도구에서 info_title 클래스의 div 태그가 있음에도 아무것도 파싱되지 않습니다. ㅠ

다른 클래스로 지정시 파싱은 잘 되서 코드에는 문제가 없는거 같은데

유독 저것만 왜 안나오는 걸까요 ㅠ

답변 1

1

스타트코딩님의 프로필 이미지
스타트코딩
지식공유자

네이버 부동산은 정적페이지 크롤링 방식으로 가져오지 못합니다~!

requests + Bs4 방식을 사용할 수 없으니

 

네이버 부동산 매물 크롤링 강의 - (후기 이벤트 강의)를 보면 바로 이해가 되실 겁니다 🙂

김세종님의 프로필 이미지
김세종

작성한 질문수

질문하기