해당 영상에서는 postman에서 안켜지는 동적으로 나온 이미지들을 selector를 이용해서 가져오는 것으로 보이는데요.
아래의 코드를 사용해서 카카오맵 상세화면 크롤링 해오려고 하는데 셀렉터로 찾게된 div class 'info_menu'를 찾으면 아무것도 안 나옵니다..
제발 도와주세요..ㅠㅠㅠ 이거하려고 강의 구매한 건데 못하겠어요ㅠㅠㅠㅠ
stackoverflow 에서 검색해보고 찾긴했습니다. ..
await page.goto('https://place.map.kakao.com/873103765', { waitUntil: "networkidle0" });
이렇게 해주니 되었습니다.
const fs = require("fs");
const puppeteer = require("puppeteer");
const axios = require("axios"); //ajax 라이브러리
const cheerio = require("cheerio"); //html 파싱
const crawler = async () => {
try {
const browser = await puppeteer.launch(
{headless : false}
);
const page = await browser.newPage();
await page.goto('https://place.map.kakao.com/915459672');
const result = await page.evaluate(()=>{
const scoreEl = document.querySelector('div.info_menu');
if(scoreEl){
console.log('있다!!');
return scoreEl.outerHTML;
}else{
console.log('없다!!');
return [];
}
});
console.log(result);
await browser.close();
} catch (e) {
console.error(e);
}
};
crawler();