파이썬 크롤링(Python Crawling)으로 웹 데이터 추출 입문부터 실습까지
파이썬에 대해 배우고 파이썬을 이용해 네이버 뉴스 제목, 네이버 금융에서 주식데이터를 자동으로 수집하는 방법에 대해 배웁니다. 주로 사용하는 라이브러리는 BeautifulSoup입니다.
초급자를 위해 준비한
[업무 자동화, 데이터 분석] 강의입니다.
이런 걸
배워요!
파이썬 프로그래밍 기초
웹 크롤링 기법
BeautifulSoup와 urllib 사용법
실제 웹 데이터 추출 및 분석
파이썬 크롤러 만들고 데이터 수집하기
우리는 데이터 사회를 살아가고 있습니다. 많은 분야에서 데이터 기반으로 의사결정을 내리고 있습니다. 그래서 데이터를 수집하고 가공하는 방법을 알아둔다면 앞으로의 업무에 도움이 되시리라 생각합니다. 본 강의는 파이썬 기초 개념부터, 우리에게 가장 익숙한 사이트인 네이버에서 데이터 추출 하는 방법을 배웁니다.또한, 가장 쉬운 '메뉴 이름 가지고 오기'예제를 통해서 데이터를 추출하는 방법을 배울 수 있습니다. 그리고 데이터가 들어있는 주소(url)을 어떻게 찾아내는지 알아보고 네이버 뉴스에서 실제로 데이터를 수집 해봅니다. 입문 섹션을 통해 기초개념을 다졌다면, 중급 섹션에서 금융주식 데이터를 선택적으로 받아오는 실습을 진행합니다.
학습 목표
- 파이썬에 대해 배우고 파이썬을 이용해 네이버 뉴스 제목을 자동으로 수집할 수 있습니다.
- BeautifulSoup의 .find(), .findAll()을 이용해 다양한 경우에 유연하게 데이터를 수집 하는 방법을 배웁니다.
도움이 되는 분들
- 프로그래밍을 처음 배우는 분
- 단순 데이터 수집 작업이 많으신 분
- 많은 데이터를 여전히 엑셀로만 처리하고 계신 분
- 논문을 써야 하는데 프로그램이 필요한 대학원생
- 파이썬으로 데이터 수집을 하는데 기본을 배우고 싶으신 분들
참고 사항
- 사용하는 기술 : python3, pycharm
지식공유자 소개
김경록
· 코인거래소 백엔드 개발
· 크롤러, api 개발
· back end 개발 및 운영(Spring Boot, Spring Data JPA)
· front end 개발 및 운영(Node, React)
· ‘경록김의 뷰티플 프로그래밍’ 운영(블로그) | http://krksap.tistory.com
· ‘경록김의 뷰티플 프로그래밍 멘토링’ 운영(1:1 프로그래밍 과외)
# 블로그
· ‘경록김의 뷰티플 프로그래밍’ 운영(블로그) | http://krksap.tistory.com
· ‘경록김의 뷰티플 프로그래밍 멘토링’ 운영(1:1 프로그래밍 과외)
# 저서
· 엄마도 따라 할 수 있는 엑셀 VBA | http://krksap.tistory.com/
· 웹 데이터 수집의 기술 | 한빛미디어 (2017. 08)
· Node.js 200제 | 정보문화사 http://www.yes24.com/24/goods/59384816
# 강의
· 직장인을 위한 데이터 수집 자동화(Node.js) - 패스트캠퍼스
· 구글스프레드시트 - 패스트캠퍼스
· 엑셀을 활용한 업무 자동화(VBA) - 패스트캠퍼스
이런 분들께
추천드려요!
학습 대상은
누구일까요?
프로그래밍 초보자
웹 데이터 분석에 관심 있는 사람
파이썬을 활용한 실습을 원하는 사람
금융 데이터 분석에 관심 있는 사람
안녕하세요
Kyeongrok Kim입니다.
커리큘럼
전체
23개 ∙ 3시간 33분
프로젝트 만들기
03:00
hello 출력하기
05:00
function 만들기
09:00
변수와 상수
09:00
파라메터
05:00
리턴
12:00
반복문 for
11:00
2단 출력하기
11:00
네이버 받아오기
08:00
install bs4
06:00
bs4로 파싱하기
14:00
naver menu1
13:00
naver menu2
09:00
naver news
15:00
네이버 금융 데이터 수집 - 리팩토링
07:00
뷰티풀솝
08:00
함수 구조 개선, 리스트
09:00
여러가지 정보 뽑아내기
09:00
findAll() 사용법 심화
09:00
실제 페이지에서 뷰티불솝 이용하기
15:00
다양한 경우에 유연하게 데이터 뽑기
10:00
여러 페이지의 정보 한 번에 수집하기
06:00
마지막 업데이트일: 2018년 09월 14일