따라하며 익히는 크롤링 마스터 with데이터공방

정보의 바다에서 편하게 고기도 잡고 물장구치는 크롤링 노하우를 알려드립니다.

📑 아래 목록 중 해당 사항이 있는지 체크해보세요!

• ✅ 반복 작업을 하나 하나 직접 수정하고 손보며 매일매일 진행하고 있다.
• ✅ 반복 작업을 하느라 시간이 없어서 정작 중요한 분석 업무는 엄두도 못내고 있다.
• ✅ 간단한 그래프 만들기, 단순 PPT 만들고 보고하는 업무를 효율적으로 하고 싶다.
• ✅ 무작정 Ctrl + C, Ctrl + V 를 무한 반복하는 업무에 자괴감이 든다.
• ✅ 컴퓨터에게 작업을 시키고, 진짜 중요한 일에 시간과 정성, 노력을 투자하고 싶다.
• 👉 1개 이상 해당 사항이 있다면, 여러분은 이 강의를 들으셔야 합니다.

---

정보의 바다에서 편하게 고기도 잡고 물장구치는 크롤링 노하우 📑

요즘 인터넷에 없는 데이터가 있나요? 없습니다. 찾은 자료 다 저장해서 사용하면 되지 싶지만, 그게 어디 쉽나요? 쉽지않은 것을 가능하게 하는 것, 인터넷 웹페이지에 있는 정보들을 수집하는 것을 바로 크롤링이라고 합니다. 크롤링을 배우면 업무 효율을 높이는데 정말 좋겠죠? 그런데 파이썬 크롤링에는 수 많은 방법들이 존재합니다. 이거 모두 다 배우면, 힘들고 시간도 많이 들어요. 그리고 심지어 다 아는 사람도 많이 없지요.

이 강의는 제가 밤새워가며 하나하나 찾아보고, 테스트하고, 실제 진행해왔던 것들, 그 중에서 불필요한 것들, 중복되는 것들 제거하고 남은 꼭 필요한 핵심 명령어, 기술들만 고르고 골라서 구성했습니다. 여러분에게 자잘한 것(?) 없이, 핵심만 골라서 알려드리겠습니다. 

---

믿고 보는 "데이터공방" 💪

3년 전에 제가 블로그에 작성한 크롤링 기초 글 등을 보기 위해서 아직도 하루에 천명 넘는 사람들이 블로그를 찾고 있습니다.  

📗네이버 블로그 "데이터공방" 

<코.알.못 마케터도 크롤링하기 #4.BeautifulSoup으로 정보가져오기>
누적 조회수 44천건, 2021.01.14 기준 -

3년 전에 글을 작성한 이후로도 많은 프로젝트를 진행하고 Q&A들도 확인하며 새롭게 테스트하고 있지만, 지금까지 제가 정리한 기술들로 안되는 부분은 없었습니다. 많은 라이브러리와 다양한 방법들이 쏟아져 나오고 있지만, 결국 가장 기본이 되는 것들만 익히면 무엇이든 응용을 하실 수 있습니다. 단기적으로 이거 딱 하나만 해결할 수 있는 방법이 아니라, 이것도 되고 저것도 되고, 앞으로도 쭉 사용할 수 있는 방법들을 알려드리려고 합니다. 

이것 저것  다양한 명령어와 강의들에서 방황하지 마시고, "데이터공방" 과 함께 해보시죠. 제가 그동안 무수한 시행착오와 테스트를 바탕으로 자신있게 정리한 핵심 내용들을 소개합니다. 지금 다른 강의로 넘어가신다면, 다음에 다시 들어오셔서 "아... 그때 바로 들을껄..."  하실 거에요. 알면 기술, 모르면 마법! 그 기술을 배우시면 삶이 정말 편안~해 집니다!

---

이 강의는 어떤 강의인가요? 🧐

• 코드만 읽고, 실행하고, 그냥 넘어가는 강의가 아닙니다.
• 하나 하나 직접 타이핑하며 설명하고, 해석하고, 함께 고민합니다. 
• 반대로 말하면 편한 강의가 아닙니다. 
• 가만히 실행만 하거나, 그냥 듣기만 하면 되는 강의가 아닙니다.
• 계속 타이핑 하며, 따라 입력하며 진행하는 불편한 강의입니다. 

---

이 강의에서 배우는 것들 ✏️

• 파이썬 설치부터, 크롤링에 꼭 필요한 파이썬 사용법
• 내 눈에 보이는 웹 페이지 정보들 
• Ctrl + C,  Ctrl + V   필요 없게 하는 크롤링  기술
• 굳이 불필요한, 있어보이는 단어나 굳이 활용도 떨어지는 내용도는 NO!
• 딱! 활용 200% 가능한 것들만 핵심으로!

---

여기서 다루는 툴 🧰 

강의 진행시 실습 컴퓨터가 필요합니다. 

• 파이썬 3.x 설치
• 쥬피터노트북 설치
• 크롬 브라우저 설치

컴퓨터 사양은 부팅하는데 20분이 넘어가지 않으면 문제 없습니다. 

파이썬 설치는 아나콘다를 이용하는 것을 추천하며,  설치 안내 자료를 참고하세요https://m.blog.naver.com/kiddwannabe/221154599192

---

예상 질문 Q&A 🙋🏻‍♂️ 

Q. 비전공자도 들을 수 있나요? 코딩이 처음인데.... 
A. 비전공자를 위한 강의입니다. 프로그램 설치부터 하나씩 진행합니다. 중간중간 저만의 팁을 전달드리기 위해 입과 손을 쉬지 않았습니다. 수업 영상들을 빠지지 말고 모두 들으시는 것을 추천드려요.  

※ 프로그래밍을 잘 아는 분은 속도를 빠르게 듣거나, 다른 강의 듣는 것을 추천합니다.

Q. 어떤 사람이 들으면 좋을까요? ? 
A. 파이썬으로 뭘 할 수 있는지 궁금하신 분!
   프로그래밍은 처음이라 겁나시는 분!
   컴퓨터에게 일 시키고 퇴근하고 싶으신 분!

Q. 다른 강의랑 차이점은?
A.  PPT 만 보고 지나가는 강의가 아닌!
    이미 입력한 코드만 읽어주는 강의가 아닌!
    하나 하나 직접 입력하고 실행하고, 에러도 보고 결과도 살펴보는 실전 활용을 위한 강의 입니다. 

Q. 실습파일 및 정리된 자료도 있나요?
A.  가능한 라이브코딩 환경에 맞게 비어있는 쥬피터노트북에 하나하나 타이핑해가며 진행하며, 이미지로 설명이 꼭 필요한 부분에 대해서는 PPT 장표를 활용하여 강의를 진행합니다

     

[updated]
- 2021.02.17. 인스타그램 크롤링 추가하였습니다
- 2021.05.06  유튜브 크롤링 추가하였습니다. 

- 2023.01.31  크롬 브라우저 버전 자동 업데이트 코드 활용방법을 추가하였습니다. 

 

강의는 지속적으로 추가 예정이며,
요청사항이나 궁금한 부분이 있으시다면 datago0ba0@gmail.com 메일로 문의 주세요. 감사합니다.