인프런 커뮤니티 질문&답변

안녕하세요. 답변 도우미입니다. 우선 말씀하신 부분은 강의 영상에 대한 내용이 아닌 부분이라서, 양해를 부탁드립니다. 강의 자체가 평생 강의라서, 강의 영상이 아닌 각자 구현하시는 코드 관련 문의까지 평생 답변을 드리는 부분은 무리가 있어서요. 정확한 답변을 위해서는 저희도 구현을 해봐야 하는 것이기도 하고, 사실상 무리스러운 부분이 있어서요.

네이버 스마트 스토어 리뷰가 무엇인지도 ㅎㅎ 잘 모르겠어요. ㅎㅎ 간단히만 의견드리면,

네이버 스마트 스토어와 같은 동적 웹페이지의 경우, 웹페이지가 로드된 후에 추가적인 데이터를 JavaScript를 통해 불러오는 경우가 많습니다. 이런 경우에는 페이지의 소스코드를 바로 확인하면 원하는 데이터가 포함되어 있지 않을 수 있습니다.

BeautifulSoup은 웹페이지의 HTML 소스코드를 파싱하고 분석하는 데 사용되지만, JavaScript를 실행하여 동적으로 불러온 데이터를 가져오는 능력은 없습니다. 이런 이유로, BeautifulSoup만 사용해서는 페이지의 동적인 부분을 크롤링하는 데 제한이 있을 수 있습니다.

이런 동적인 웹페이지를 크롤링하려면, 웹 브라우저를 실제로 실행하고 JavaScript를 실행할 수 있는 도구가 필요합니다. Selenium은 이런 용도로 널리 사용되는 도구로, 웹 브라우저를 자동화하여 실제 사용자처럼 동작하게 할 수 있습니다. 따라서 JavaScript를 통해 동적으로 로드되는 데이터를 크롤링할 수 있습니다.

따라서 네이버 스마트 스토어와 같이 JavaScript를 이용한 동적인 웹페이지에서 리뷰와 같은 데이터를 크롤링하려면 Selenium을 사용하는 것을 권장합니다. (저희가 직접 원하시는 사이트의 기능을 크롤링해본 것은 아니라서, 정확하게 의견드리기는 어렵지만, 참고로라도 의견을 드립니다.)

감사합니다.