인프런 커뮤니티 질문&답변

왓챠피디아에 올라가 있는 넷플릭스 드라마 리뷰들을 파이썬으로 웹 크롤링 해보고 싶어서

 https://github.com/Stan7s/IMDb-Review-Crawler/blob/master/IMDb-Review-Crawler.py

의 imdb 크롤링 방식을 참고했습니다.

그런데 IMDB에선 잘 되던 것이, 왓챠피디아 쪽은 리뷰가 크롤링 되지 않습니다.

어떻게 하면 해결할 수 있을까요?

#수집하고 싶은 영화의 user riviews 페이지 url 붙여넣기
url = 'https://pedia.watcha.com/ko-KR/contents/tRzLggZ/comments'

#수집하고 싶은 영화 리뷰 수 지정
MAX_CNT = 150
cnt = 0

print("url = ", url)
res = requests.get(url)
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text, "lxml")

load_more = soup.select(".load-more-data")
flag = True
if len(load_more):
    ajaxurl = load_more[0]['data-ajaxurl']
    base_url = base_url + ajaxurl + "?ref_=undefined&paginationKey="
    key = load_more[0]['data-key']
else:
    flag = False

while flag:
    url = base_url + key
    print("url = ", url)
    res = requests.get(url)
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text, "lxml")
    for item in soup.select(".lister-item-content"):
        rating = item.select("span.rating-other-user-rating > span")
        if len(rating) == 2:
            rating = rating[0].text
            review = item.select(".text")[0].text
            pn = rating_transfer(int(rating))
            review_list.append(review)
            rating_list.append(pn)
            cnt = cnt + 1
        else:
            rating = ""
        review = item.select(".text")[0].text