왓챠피디아에 올라가 있는 넷플릭스 드라마 리뷰들을 파이썬으로 웹 크롤링 해보고 싶어서 https://github.com/Stan7s/IMDb-Review-Crawler/blob/master/IMDb-Review-Crawler.py의 imdb 크롤링 방식을 참고했습니다.그런데 IMDB에선 잘 되던 것이, 왓챠피디아 쪽은 리뷰가 크롤링 되지 않습니다.어떻게 하면 해결할 수 있을까요?
#수집하고 싶은 영화의 user riviews 페이지 url 붙여넣기
url = 'https://pedia.watcha.com/ko-KR/contents/tRzLggZ/comments'
#수집하고 싶은 영화 리뷰 수 지정
MAX_CNT = 150
cnt = 0
print("url = ", url)
res = requests.get(url)
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text, "lxml")
load_more = soup.select(".load-more-data")
flag = True
if len(load_more):
ajaxurl = load_more[0]['data-ajaxurl']
base_url = base_url + ajaxurl + "?ref_=undefined&paginationKey="
key = load_more[0]['data-key']
else:
flag = False
while flag:
url = base_url + key
print("url = ", url)
res = requests.get(url)
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text, "lxml")
for item in soup.select(".lister-item-content"):
rating = item.select("span.rating-other-user-rating > span")
if len(rating) == 2:
rating = rating[0].text
review = item.select(".text")[0].text
pn = rating_transfer(int(rating))
review_list.append(review)
rating_list.append(pn)
cnt = cnt + 1
else:
rating = ""
review = item.select(".text")[0].text
