현존 최강 크롤링 기술: Scrapy와 Selenium 정복

# 가장 빠르고, 가장 안정적인 크롤링 기술은?

가장 기본적인 파이썬 기술은 requests 와 BeautifulSoup 라이브러리를 사용하는 기법입니다. 다만, 웹사이트마다, 관련 기술로만은 크롤링이 어려운 케이스가 많습니다. 이럴 때 사용하는 기술이 Selenium, Headless Chrome 입니다. 관련 기술을 사용하면 로그인이 필요한 사이트와 같이 특별한 조작이 필요한 환경에서도 크롤링이 가능합니다. 또한, 단순히 하나의 웹페이지를 크롤링하기보다, 대량의 데이터를 안정적으로 크롤링할 때에는, Scrapy 라는 프레임워크룰 사용합니다. Scrapy 는 가장 빠르고, 가장 안정적인 크롤링 기술입니다.  

# 어렵지 않나요? 어느정도 알아야할까요? 제 PC에서도 가능할까요?

파이썬 프로그래밍과 크롤링 기초 이해만 가능하다면, 핵심 부분을 중심으로 실제 크롤링할만한 예제를 크롤링해가며, 바로 활용까지 가능토록 꾸몄습니다. 또한, 관련 기술은 깊게 속속들이 이해해야 하는 기술이라기 보다는, 활용 기술에 가깝기 때문에, 범위를 정해서, 단계별로 꼭 이해가 필요한 부분을 중심으로 익히면, 보다 쉽고, 짧은 시간안에 익힐 수 있습니다. 

 * 본 강의는 복잡할 수도 있는 관련 기술을 짧은 시간 안에 쉽게! 익힐 수 있도록 구성하였습니다.

# 저는 파이썬 프로그래밍과 크롤링 기초 지식이 없는데 체계적으로 익힐 수 있을까요?

본 강의는 본 상세 소개의 하단 부에 기재되어 있는 데이터 분석/과학 로드맵에 맞추어, 파이썬 입문과 크롤링 기초 부트캠프 과 함께 익히시면 체계적으로 기초부터, 크롤링 기술 또는 데이터 분석/과학 기술까지 순차적으로 익히실 수 있도록 구성하였습니다.

특히, 파이썬 프로그래밍과 크롤링 기초는 파이썬 입문과 크롤링 기초 부트캠프 수업을 통해 별도로 제공하며, 두 과목을 통해 파이썬과 크롤링을 몰랐던 분들도 바닥부터 따라오실 수 있도록, 윈도우/맥 각 환경에서의 프로그램 설치부터 웹에 대한 이해등 배경지식까지 모두 설명하였습니다.

# 데이터 수집 기술인 크롤링 관련 다양한 기술을 모두 익히고 싶은데 어떻게 할 수 있을까요? 

파이썬 입문과 크롤링 기초 부트캠프 과 본 강의를 통해 현존하는 모든 크롤링 기술을 익힐 수 있습니다. 

# 데이터 분석/과학을 위해 크롤링 기술을 어느 정도까지 익혀야 할까요?

파이썬 입문과 크롤링 기초 부트캠프 과 본 강의에서 다루는 수준까지 익히시면 충분합니다. 또 관련 기술을 익히기 위해 필요한 배경지식(웹을 구성하는 HTML/CSS) 과, 프로그래밍에서 데이터를 다루기 위해 필요한 다양한 데이터 포맷, 그리고 Open API 사용법까지 두 강의에서 모두 다루고 있습니다. 이를 통해, 자연스럽게 데이터를 어떻게 프로그래밍으로 다루는지 익숙해질 수 있습니다.

 * 또한, 추후 데이터분석/과학 작업 진행시, 실제로 가장 어려운 것은 내가 원하는 데이터를 구하는 일입니다. 본 강의와 파이썬 입문과 크롤링 기초 부트캠프를 통해, 내가 원하는 데이터를 구하는데 가장 강력한 무기를 장착하신다면, 훨씬 경쟁력 있고, 역량있는 데이터 분석가/과학자로 성장할 수 있습니다.