데이터 과학, 빅데이터, 크롤링을 익히고자 하시는 분들을 위해 - 현존하는 최신, 최고의 크롤링 기술을 다양한 예제로 빠르게 익힐 수 있도록 꾸몄습니다.
이런 걸
배워요!
Selenium/Headless Chrome/PhantomJS를 활용한 크롤링
브라우저를 프로그래밍으로 제어해서 크롤링하기
Scrapy를 사용한 크롤링
동적웹페이지 크롤링
본 강의는 파이썬 입문과 크롤링 기초 부트캠프 과 함께 크롤링 및 파이썬 데이터 수집 기술을 체계적으로 익히는 강의입니다. 현업과 병행하며, 일반적인 IT 강의보다는 최대한 수강자 입장을 고민해서 만든 특별한 강의로, 강의와 더불어, 짧은 시간에 익힐 수 있도록 기능을 하나씩 따라하며, 데이터 처리 역량을 더 쌓을 수 있는 강의입니다.
# 가장 빠르고, 가장 안정적인 크롤링 기술은?
가장 기본적인 파이썬 기술은 requests 와 BeautifulSoup 라이브러리를 사용하는 기법입니다. 다만, 웹사이트마다, 관련 기술로만은 크롤링이 어려운 케이스가 많습니다. 이럴 때 사용하는 기술이 Selenium, Headless Chrome 입니다. 관련 기술을 사용하면 로그인이 필요한 사이트와 같이 특별한 조작이 필요한 환경에서도 크롤링이 가능합니다. 또한, 단순히 하나의 웹페이지를 크롤링하기보다, 대량의 데이터를 안정적으로 크롤링할 때에는, Scrapy 라는 프레임워크룰 사용합니다. Scrapy 는 가장 빠르고, 가장 안정적인 크롤링 기술입니다.
# 어렵지 않나요? 어느정도 알아야할까요? 제 PC에서도 가능할까요?
파이썬 프로그래밍과 크롤링 기초 이해만 가능하다면, 핵심 부분을 중심으로 실제 크롤링할만한 예제를 크롤링해가며, 바로 활용까지 가능토록 꾸몄습니다. 또한, 관련 기술은 깊게 속속들이 이해해야 하는 기술이라기 보다는, 활용 기술에 가깝기 때문에, 범위를 정해서, 단계별로 꼭 이해가 필요한 부분을 중심으로 익히면, 보다 쉽고, 짧은 시간안에 익힐 수 있습니다.
* 본 강의는 복잡할 수도 있는 관련 기술을 짧은 시간 안에 쉽게! 익힐 수 있도록 구성하였습니다.
# 저는 파이썬 프로그래밍과 크롤링 기초 지식이 없는데 체계적으로 익힐 수 있을까요?
본 강의는 본 상세 소개의 하단 부에 기재되어 있는 데이터 분석/과학 로드맵에 맞추어, 파이썬 입문과 크롤링 기초 부트캠프 과 함께 익히시면 체계적으로 기초부터, 크롤링 기술 또는 데이터 분석/과학 기술까지 순차적으로 익히실 수 있도록 구성하였습니다.
특히, 파이썬 프로그래밍과 크롤링 기초는 파이썬 입문과 크롤링 기초 부트캠프 수업을 통해 별도로 제공하며, 두 과목을 통해 파이썬과 크롤링을 몰랐던 분들도 바닥부터 따라오실 수 있도록, 윈도우/맥 각 환경에서의 프로그램 설치부터 웹에 대한 이해등 배경지식까지 모두 설명하였습니다.
# 데이터 수집 기술인 크롤링 관련 다양한 기술을 모두 익히고 싶은데 어떻게 할 수 있을까요?
파이썬 입문과 크롤링 기초 부트캠프 과 본 강의를 통해 현존하는 모든 크롤링 기술을 익힐 수 있습니다.
# 데이터 분석/과학을 위해 크롤링 기술을 어느 정도까지 익혀야 할까요?
파이썬 입문과 크롤링 기초 부트캠프 과 본 강의에서 다루는 수준까지 익히시면 충분합니다. 또 관련 기술을 익히기 위해 필요한 배경지식(웹을 구성하는 HTML/CSS) 과, 프로그래밍에서 데이터를 다루기 위해 필요한 다양한 데이터 포맷, 그리고 Open API 사용법까지 두 강의에서 모두 다루고 있습니다. 이를 통해, 자연스럽게 데이터를 어떻게 프로그래밍으로 다루는지 익숙해질 수 있습니다.
* 또한, 추후 데이터분석/과학 작업 진행시, 실제로 가장 어려운 것은 내가 원하는 데이터를 구하는 일입니다. 본 강의와 파이썬 입문과 크롤링 기초 부트캠프를 통해, 내가 원하는 데이터를 구하는데 가장 강력한 무기를 장착하신다면, 훨씬 경쟁력 있고, 역량있는 데이터 분석가/과학자로 성장할 수 있습니다.
수백만원의 수강료를 내고 문법만 전달하는 강의를 들으셨던 분들이 있었을까요? 수업을 들으며, 자연스럽게 반복하고, 머리에 쏙쏙 들어올 수 밖에 없는, 그리고 실제 사용이 가능하도록 패턴화까지 시켜서 그대로도 활용가능하고! 다양한 케이스에 맞도록 변경도 가능하고, 그리고 기본기도 제대로 쌓을 수 있도록. 그러면서도 문과분들까지 고려하고, 여기에 시간까지 고려한 커리큘럼. 온라인 강의에 대한 애착으로 고민고민 끝에 만들어낸 강의입니다.
혹시 체계적인 커리큘럼이 궁금하시다면, 크롤링 강의와 데이터 분석, 데이터 베이스 강의도 함께 익혀보실 것을 추천드립니다.
'아! 진짜 다르구나!' 라고 느낄 수 있도록 고민고민해서 만드는 IT강의 시리즈입니다
합리적이고 서로 배려하고 좋은 인연을 맺을 수 있는 분들만
수강 부탁드립니다!
인프런에 오픈 중 또는 오픈 예정인 강의 코스
풀스택 코스: 최신 웹/앱 서비스를 A to Z 로 혼자서도 만들 수 있는 테크트리
익히는 순서에 따라 번호를 붙여 놓았습니다.
1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
2. MySQL과 데이터 저장/분석 기본 (SQL 데이터베이스 기본)
3. NoSQL(mongodb) 빅데이터 기본 (NoSQL 데이터베이스 기본)
4. 가장 빠른 풀스택: 파이썬 백엔드와 웹기술 기본 [풀스택 Part1]
5. 풀스택을 위한 탄탄한 프론트엔드 기본: javascript (Vanilla JS 와 ES6+) 와 최신 웹기술 [풀스택 Part2]
6. 풀스택을 위한 도커와 최신 서버 기술(리눅스, nginx, AWS, HTTPS, flask 배포) [풀스택 Part3]
7. 풀스택 앱 개발을 위한 flutter 기본 (풀스택 Part4, 21' 하반기 오픈 예정)
8. 풀스택을 위한 Vue 또는 React 프레임워크 기본 (풀스택 Part5, 21' 하반기 예정)
앱/웹기술이 급격히 변화 중이어서, 우선순위를 조정하였습니다. 보다 최신 기술을 선점하기 위해, 웹과 앱 모두를 지원하는 가장 최신 기술인 flutter 을 우선 진행합니다.
* 현재까지의 풀스택 강의 패키지를 할인된 가격으로도 제공합니다. (할인율은 곧 축소 예정입니다.)
[입문~중급] 가장 쉽고, 가장 최신 기술로 익히는 풀스택 로드맵(바로가기)
데이터 분석/과학 코스: 원하는 데이터를 가져와서 분석하고, 예측까지 할 수 있는 최신 테크트리
익히는 순서에 따라 번호를 붙여 놓았습니다.
1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
2. Scrapy와 Selenium 정복 (현존 최강 크롤링 중급 기술 및 관련 IT 지식)
3. SQL과 데이터 저장/분석 기본 (데이터 저장/분석)
4. NoSQL(mongodb) 빅데이터 기본 (빅데이터 저장/분석)
5. 처음하는 파이썬 데이터 분석 (데이터 전처리와 pandas, 최신 시각화) [데이터과학 Part1]
6. 처음하는 파이썬 머신러닝 부트캠프 (쉽게! 실제 문제로 개념/활용 익히기) [데이터과학 Part2]
7. AI 인공지능 부트캠프 (데이터 예측 자동화, 22' 상반기) [데이터과학 Part3]
* 현재까지의 데이터 과학 강의 패키지를 할인된 가격으로도 제공합니다. (할인율은 곧 축소 예정입니다.)
[입문~초급] 취업을 위한 데이터 분석 기본 기술 쉽게! 꼼꼼하게 익히기(바로가기)
학습 대상은
누구일까요?
데이터 과학 기본기로 크롤링부터 제대로 익히고 싶은 분들
크롤링 최신 기술을 익히고싶은 분들
선수 지식,
필요할까요?
파이썬 입문과 크롤링 기초 부트캠프 (온오프라인 5천명 이상 수강) 선수강 필요
잔재미코딩, Dave Lee
주요 경력: 쿠팡 수석 개발 매니저/Principle Product Manager, 삼성전자 개발 매니저 (경력 약 15년)
학력: 고려대 일어일문 / 연세대 컴퓨터공학 석사 (완전 짬뽕)
주요 개발 이력: 삼성페이, 이커머스 검색 서비스, RTOS 컴파일러, Linux Kernel Patch for NAS
저서: 리눅스 커널 프로그래밍, 리눅스 운영 체제의 이해와 개발, 누구나 쓱 읽고 싹 이해하는 IT 핵심 기술, 왕초보를 위한 파이썬 프로그래밍 입문서
풀스택/데이터과학 관련 무료 자료를 공유하는 사이트입니다.
IT 학습에 도움이 되는 팁/ 짧은 무료 강의를 공유하고자, 조금씩 시작하고 있습니다~
최신 현업과 IT 강의를 병행하며, 8년째 꾸준히 견고한 풀스택과 데이터과학 강의를 만들고 있습니다.
전체
42개 ∙ (8시간 57분)
가 제공되는 강의입니다.
오리엔테이션과 강의 특징
05:09
강의 진행 방법 소개
11:05
파이썬과 크롤링 기본 강의 요약 정리
15:53
(참고) 쥬피터 노트북 사용법 익히기
10:03
동적 웹페이지 기술 이해
11:54
동적 웹페이지 크롤링 기법 익히기
13:46