인프런 커뮤니티 질문&답변

답변 감사합니다 ^^

안녕하세요. 저 조차도 '헐' 이라는 말이 튀어나왔습니다. 

일단, 각 상품 별로 현재 제조사 항목이나 연락처 가 없는 상품도 있고, 상세 항목 자체가 각 상품별로 달라진 것으로 보입니다. 이렇게 항목들이 상품 페이지 별로 다르다면, 다양한 상품 페이지에서 제조사/연락처를 동일한 패턴으로 크롤링하기는 어려울 것으로 보입니다. 제조사/연락처 예 부분은 사실 민감한 정보일 수도 있어서, 단순히 크롤링 기법을 익히기 위한 예제로만 이해해주시는 편이 더 좋을 것 같습니다.

또한 말씀하신대로, 해당 더보기 HTML 코드를 보니 더보기 버튼을 눌렀을 때, Ajax으로 데이터를 실시간으로 가져오는 것으로 보여서요. 이 부분은 selenium을 활용해야할 듯 합니다. 크롤링의 경우 예제 웹페이지가 수시로 변경되서 동일하게 크롤링이 안되는 부분이 부득이하게 발생하는데, 이 부분은 양해를 부탁드립니다.