인프런 커뮤니티 질문&답변

mine7717님의 프로필 이미지
mine7717

작성한 질문수

Node.js로 웹 크롤링하기

5개씩 순차적으로 크롤링도 가능한가요 ?

작성

·

228

0

크롤링이 한번에 되던 문제는 덕분에 잘 해결하였습니다.

전체가 179개이다보니 강제로 시간 딜레이를 주게되어 소요시간이 오래걸려서요.. 혹시 await로 순차적으로 하긴 하지만 5개씩 묶어서 할 수 있는 효율적인 방법이 있을까요 ?

아니면 다른 방안을 찾아내어 고정 딜레이가 아닌 waitForSelector 과 같은 것을 이용해야 할까요 ?

답변 2

0

선생님 이부분 자세히 알려주실수 있나요? 

막히네요 ㅜㅜ

0

제로초(조현영)님의 프로필 이미지
제로초(조현영)
지식공유자

5개씩 묶어서 배열로 만드시고 for of 문에 await Promise.all([crawlers[0](), crawlers[1](), crawlers[2](), crawlers[3](), crawlers[4]()]) 붙이시면 됩니다.

mine7717님의 프로필 이미지
mine7717

작성한 질문수

질문하기