sameAddressGroup 데이터 가져오기오류

내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)

15.1 네이버 부동산 사이트/데이터 파악하기 part1

작성

432

안녕하세요 크롤링공부를 진행하고 있어요 단지정보 수집 관련해서 크롤링하려고 수강하고 있는데요 sameAddressGroup에서 데이터를 수집하는데 여기서 자료가 나타나질 않네요 url로 접속하니 {"error":"unauthorized user"} 로 나옵니다 크롬 개발자도구에서 확인할떄는 정상적으로 데이터가 나오긴하는데 크롤링 에서 안되서 문의 드립니다 

웹 크롤링 python

답변 2

최진환

질문자

headers = {

"Connection": "keep-alive",

"Host": "new.land.naver.com",

"authorization": "Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpZCI6IlJFQUxFU1RBVEUiLCJpYXQiOjE2MjMyMzkyMzksImV4cCI6MTYyMzI1MDAzOX0.gdgEApo9bDG5IsSsYDWWeHlAN9LtNh6ejEARMS0FGL8",

"Referer": "https://new.land.naver.com/complexes/106793?ms=36.0846898,129.4029652,16&a=APT:ABYG:JGC&e=RETAIL",

"Sec-Fetch-Dest": "empty",

"Sec-Fetch-Mode": "cors",

"Sec-Fetch-Site": "same-origin",

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36",

}

헤더정보 user-agent 값은 지금 사용중인 에이전트 값으로 작성하였습니다. 기존 ipynb파일에 있던 내용 자체도 반응이 없어서 변경하였고 크롤링할 데이터의 주소값도 변경 해보았습니다

url2 = "https://new.land.naver.com/api/complexes/107031?sameAddressGroup=false" url에 대한 반응이 없어서 문의 드립니다.

DeepingSauce

지식공유자

안녕하세요

혹시 "반응이없다" 라는게 무슨 의미인가요?

에러가 나온것이라면 에러내용도 확인이 필요합니다.

스샷으로 유추해봤을 때, 혹시 k,v 출력값이 안나온다는 말씀이신거라면, print(k, v)를 해보셔도 되고, 강의 초반에 항상 실행되었다고 가정하는 코드라고 설명하는

from IPython.core.interactiveshell import InteractiveShell

InteractiveShell.ast_node_interactivity = "all"

를 실행하고 다시 실행해보시겠어요?

최진환

질문자

네 반응이없다는건 결과 값이 나오지 않는다는 이야기 입니다

말씀해주신대로 k,v 값을 프린트 했을경우 아래와 같은 에러가 나옵니다

for k, v in data_dict.items():

k, v

print (k,v)

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Input In [1], in <cell line: 1>()
----> 1 print (k,v)

NameError: name 'k' is not defined

오류에 대한 내용입니다

DeepingSauce

지식공유자

print는 for 구문 안에 들여쓰기해서 입력이 되어야 합니다. for문 관련 내용은 기초수업(www.inflearn.com/course/생초보-입문-파이썬)에서 확인가능합니다.

최진환

질문자

print는 정상적으로 출력된거 확인했습니다. 다음 부분 부터 따라해보겟습니다~

감사합니다

DeepingSauce

지식공유자

혹시 헤더정보도 넣으셨나요?

코드도 같이 스샷 or 붙여넣기로 같이 올려주시면 제가 판단하기가 용이할 듯합니다.

인프런 커뮤니티 질문&답변

sameAddressGroup 데이터 가져오기오류