Node.js로 웹 크롤링하기
네이버, 아마존, 트위터, 유튜브, 페이스북, 인스타그램, unsplash.com 등의 사이트를 크롤링하며 실전에 적용해봅니다.
중급자를 위해 준비한
[데이터 분석, 웹 개발] 강의입니다.
이런 걸
배워요!
이미지 크롤링
웹사이트 크롤링
아이프레임 크롤링
Node.js로 웹 크롤링하기
Node.js와 Puppeteer를 활용해 웹 사이트를 크롤링하여 원하는 정보를 가져오는 법을 배웁니다.제 강좌의 장점은 Q&A입니다. 질문하시면 하루 안에 답변드립니다. 단순히 강좌만 시청하는 것보다는 강좌 관련 내용을 자유롭게 질문하시면서 능동적으로 공부하시면 많은 도움이 됩니다. 강좌 내용에서 설명이 부족하거나 이해가 안 가는 부분이 있다면 언제든지 질문주세요. 다른 분들이 이미 했던 질문을 읽어보시는 것도 도움이 됩니다.
학습 목표
- Node.js로 웹 크롤링을 할 수 있다.
도움이 되는 분들
- Node.js로 웹 크롤러를 제작하시는 분
- 웹 작업의 자동화를 목표로 하시는 분
- 웹 E2E 테스트를 하려고 하시는 분
연관된 강좌
노드에 대한 핵심 개념을 익힌 후, 실전 예제를 통해 실무에 뛰어들 준비를 갖춥니다.
참고 사항
- Node.js LTS 버전을 사용합니다.
- 자바스크립트 기본 문법 알아야 합니다.
- Node.js 교과서를 읽지 않았다면 https://thebook.io/006982/에서 8장까지 읽으면 좋습니다.
- github.com/zerocho/nodejs-crawler에 소스 코드가 있습니다.
- 크롤링하는 웹사이트의 태그가 변경되어 소스 코드가 동작하지 않을 수 있지만, 강좌에서 배운대로 소스 코드를 수정하면 됩니다.
이런 분들께
추천드려요!
학습 대상은
누구일까요?
웹 관련 업무 자동화를 하고 싶으신 분
웹서비스를 크롤링해 데이터를 수집하고 싶으신 분
선수 지식,
필요할까요?
자바스크립트, Node.js 지식
안녕하세요
제로초(조현영)입니다.
제 강의의 장점은 Q&A입니다(인프런 답변왕 2회 수상). 24시간 이내에 최대한 답변드립니다! 같이 고민한다는 느낌으로 답변 드릴게요!
https://www.zerocho.com/lecture
제로초 강의 전체 로드맵
– Node.js교과서, 코딩자율학습 제로초의 자바스크립트, Let's Get IT 자바스크립트, 타입스크립트 교과서 저자
– ZeroCho.com 운영자
– 현) 유튜브에서 ZeroCho TV로 개발 관련 방송중
– 현) 스모어톡 CTO
– 전) 오늘의픽업 CTO(카카오모빌리티에 엑싯 후 카카오모빌리티 최연소 개발파트장)
커리큘럼
전체
75개 ∙ (13시간 36분)
1-1. 웹 크롤러 소개
10:51
1-6. 보너스: xlsx 패키지
10:55
1-8. 보너스: 엑셀에 쓰기
05:55
2-1. puppeteer 시작하기
11:00
2-3. 첫 puppeteer 크롤링
09:51
2-4. csv에 출력하기
10:04
3-1. 이미지 다운로드 준비하기
10:52
3-2. axios로 이미지 저장하기
09:00
(문법 강좌) const와 let
10:32
(문법 강좌) 객체 리터럴의 변화
07:33
(문법 강좌) 화살표 함수
10:10
(문법 강좌) 비구조화 할당
14:21
(문법 강좌) rest 문법과 Q&A
08:48
(문법 강좌) 콜백과 프로미스
09:51
(문법 강좌) async/await
10:27