인프런 커뮤니티 질문&답변
작성한 질문수
"쿠팡 제품 검색 결과 크롤링" 강의를 응용해서 타오바오 사이트에서 해보려고 하는데,,
작성
·
853
0
"쿠팡 제품 검색 결과 크롤링" 강의를 응용해서 타오바오 사이트에서 해보려고 하는데,
자꾸 안돼서 아래와 같이 print(html) 했더니
뭔가 차단된거 같은 html 막 쭉 뜨네요 이럴때는
어떻게 해야하나요?
req = requests.get(links, timeout=5, headers=headers, cookies=cookie)
html = req.text
soup = BeautifulSoup(html, "html.parser")
print(html)
답변 2
0
0
김플
지식공유자
타오바오는 방금 제가 해봤을때 위 코드로 차단없이 잘 실행이 되었습니다.
만약 같은 코드인데 안된다면 아이피가 차단됐을수도 있습니다.
그리고 중요한건,
제가 아이디가 없기때문에 메인페이지만 볼수있어서 다른 페이지는 모르겠지만
일단, 메인페이지가 동적으로 되어있기 때문에 뷰티풀수프와 리퀘스츠만으로는 제품 정보를 가져올수가 없습니다.
셀레니움을 사용해서 직접 화면에 접속을 해서 정보를 가져와야 합니다.
다만, 이건 메인페이지의 경우이고 다른 페이지는 제가 볼수가 없어서 파악을 못했습니다.
선생님 답변너무 감사합니다!
강의에는 셀레니움만 이용한 예, 뷰티플수프만 이용한 예가 있는데
이런 동적 사이트에서 셀레니움으로 이용해 접근해서 뷰티플로 크롤링 하는 강의를
추후에 업데이트 해주실수 있으신지요 ㅠㅠㅠ 혼자 응용하기 너무 빡쎄네요 ㅠㅠ