내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)

 

파이썬(Python)으로  
웹크롤링 & 자동화에 도전하세요!

🙌 누구를 위한 강의인가요?

 세계적인 투자은행인 골드만삭스. 경제, 경영, 수학, 통계 등 각 분야에서 최고의 인재들이 모이는 이 회사는 놀랍게도 직원의 1/3 이상이 다름 아닌 IT 인력이라고 합니다. 금융회사임에도 불구하고 직원의 대부분이 자유자재로 코딩을 할 수 있는 인력들이라는 것이죠. 더욱 놀라운 것은 이 통계가 무려 수 년전 결과라는 것입니다. 장담컨대, 현재는 기존 직원들 중 상당수가 컴퓨터로 대체 되었을 것이고, IT인력 비중 또한 더 증가하여 최소 절반 이상이 되었으리라 생각합니다.

이처럼 시대가 변하면서, 전공, 분야, 직종을 불문하고 코딩 능력이 점점 중요해지고 있습니다. 최근에는 문/이과에 구분없이 채용에 있어서도 코딩 능력을 요구하는 회사들이 점점 많아지는 추세이고, 국가적 차원에서 코딩 교육의 중요성을 강조하며 다양한 교육 정책을 적극 추진하고 있습니다.

이와 같이 코딩 능력이 점점 기본자질로서 요구되는 이유는 무엇일까요? 전세계적으로 AI, AI를 외치면서 딥러닝을 사용한 고급 알고리즘을 개발하고 적용하는 사례들이 점점 많아지는 이유도 있겠지만, 또 다른 측면에서는 현업에서 많은 (반복적인)업무들이 프로그램으로 대체 되거나 자동화 될 수 있기 때문입니다.

반복적인 업무로 우리의 소중한 시간들을 낭비하기에는 인생이 너무 짧습니다. 그런 일들이 반복되는 삶을 살다보면, 더 중요하고 우선되어야 하는 업무에 집중하기도 어려워지죠. 우리의 일상을 가만히 돌아보면, 프로그래밍으로 대체할 수 있는 일이 상당히 많습니다. 에를 들면, 웹사이트에서 원하는 데이터를 주기적으로 가져오거나, 특정 내용을 지속적으로 모니터링을 하는 등의 작업들이 있을 것 입니다. 만약 이러한 일들을 사람보다 더 빠르고 정확한 컴퓨터가 대신 해줄 수 있다면 어떨까요? 

본 강의에서는 이러한 업무들을 대신해 줄 파이썬 프로그램을 만드는 법에 대해 배웁니다. 코드 몇 줄 제공하고 "이 코드를 돌리면 A라는 사이트에서 이러이러한 데이터를 긁어올수 있다" 식의 허술한 강의가 아닌, 웹의 작동 원리부터 시작해서, 크롤링 관련 문제를 바라보는 다양한 관점, 그리고 이를 프로그래밍으로 해결하는 과정을 직접 보여드리며 여러분들이 앞으로 어떠한 사이트에서든 다양한 크롤링 기반 자동화 업무를 진행할 수 있도록 도와드리고자 본 수업을 준비했습니다.

 

 

🙌  ctrl+c, ctrl+v는 이제 그만! Python을 사용하여, 나만의 크롤러 만들기  

제가 과거에 비IT계열 회사들로부터 외주 요청을 받아 작업을 진행을 하게 되었을 때, 충격을 받은 적이 한두번이 아니었습니다. 석,박사급의 고급 인력들이 연구 관련 혹은 보고서에 필요한 데이터를 웹에서 수집하기 위해 연일 야근, 심지어는 밤까지 새워가는 경우가 많았습니다. 그리고 대부분이 마우스 클릭과 ctrl+c, ctrl+v으로 노가다를 하며 데이터를 가져오고 있었고, 이를 하나씩 엑셀로 복사하고, 이 과정에서 서식이 깨지는 등의 부가적인 작업까지 전부 손수 진행하는 등 많은 시간을 무의미한 작업에 허비하고 있었습니다.

제가 충격을 받은 이유는 매우 당연했는데, 왜냐하면 이런 작업들은 파이썬 코드 몇 줄 만으로 충분히 자동화가 가능했기 때문입니다. 안타까운 것은 이 분들도 코딩에 대한 중요성을 충분히 인지는 하고 있었지만, 코딩을 어떻게 배우고 적용해야될 지에 대해서 막막해 했고, 또 당장 눈 앞에 떨어진 일들이 더 급하고 중요했기 때문에, 어쩔 수 없이 이런 악순환을 반복하고 있었습니다. 실제로 대다수의 직장인 분들이 과거에 비슷한 경험을 하시거나 현재까지도 이러한 무의미한 업무에 시간을 낭비하시며 스트레스를 받는 분들이 많을 것입니다. 본 수업에서는 이러한 분들 위해, 웹기반 관련 반복업무(crawling, periodic checking 등)를 파이썬(Python) 코드로 로직화하여 자동화하는 방법에 대해 배우면서 그 동안 낭비했던 여러분의 소중한 시간들을 되찾아보려고 합니다.

[주식 종목별 분봉, 일봉, 재무제표 데이터 크롤링 & 전처리]

 

[부동산 단지정보/시세 데이터 & 단지내 갭(Gap) 분석]

 

[네이버 블로그 목록 크롤링]

 

파이썬(Python) 코드 몇 줄 만으로 여러분의 직장 생활, 더 나아가 인생이 달라질 수 있습니다
매일 여유있는 삶을 누리고 싶지 않으신가요?

 

 

🙌  '주 40시간 제한 No + 실수, 불평, 불만 No + 페이 No'! 나만의 일꾼(비서) 만들기

 

'나도 내 밑에 직원만 있으면 일 맡기고 좀 쉴텐데....'

많은 직장인(특히 취직을 한 지 얼마 안 된 사회초년생)분들이 이런 생각을 최소 한 번씩은 해보셨을 것입니다. 내 일을 대신해서 처리해주는 직속 부하 직원. 그것도 한 명이 아니고 여러 명. 상상만 해도 행복한 직장생활이 될 것 같으신가요?

파이썬(Python)만 있으면 여러분들도 충분히 가능합니다. 컴퓨터는 사람이 진행하는 것보다 훨씬 빠르고, 실수도 전혀 하지 않기 때문에 여러 방면에서 매우 효율적입니다. 또한 휴식 시간도 줄 필요 없고, 잠도 자지 않으며, 급여 또한 없기 때문에(아주 약간의 전기세 제외) 점점 높아만지는 시급 또한 걱정을 할 필요도 없습니다. 단지 저희가 해야하는 것은, 내 업무를 옳은 방법으로 잘 처리할 수 있도록 프로그래밍 언어로 문제를 잘 정의하는 것 뿐입니다.

그렇다면 파이썬(Python)으로 어떤 업무를 대신 할 수  있을까요? 거의 모든 반복적인 업무가 대체 가능합니다.

[인스타그램 팔로우 & 좋아요 자동화]

[pdf 파일 다운로드]

[Slack 메신저 알림]

이 외에도 네이버 카페/블로그 게시글, 온라인 뉴스 기사, 주식 시세, 재무제표 정보와 같이 특정 시간/날짜마다 데이터를 가져오거나, 영화 예매 시작 알림 처럼 주기적인 모니터링이 필요한 작업까지 수 많은 작업들을 전부 프로그램 및 자동화를 할 수 있습니다.

 

내 업무를 대신해 줄 일꾼들을 직접 만들고
바쁜 일상으로부터 벗어나 한층의 여유를 찾아보는 것은 어떨까요?

 

 

🙋 수강생들이 가장 궁금해 하는 질문 Top 6

Q1. 본 강의를 수강하기 위해, 기존의 다른 강의(누구나 배울 수 있는 파이썬, Pandas 주식 퀀트투자 part1 등) 수강이 필수인가요? 본 수업을 듣고 다른 강의를 듣는 것이 낫나요?

Q2. 목차를 보니 주식 데이터가 메인인 것 같은데, 주식&금융 데이터 크롤링 내용에 국한된 내용인가요?

Q3. 수강을 마쳤고, 정말 알찬 내용들을 배워서 자신감 뿜뿜 중입니다. 근데 어떤 주제, 데이터에 대해 크롤링을 할 지 감이 잘 안 옵니다. 관련해서 팁 같은 것이 있을까요?

Q4. 이전 수업에서 pandas version이 0.25.3이었는데, 이번 강의에서는 pandas를 1.x대 버전을 쓰더라구요. 버전 간에 충돌은 어떻게 해야 되나요?

Q5. 강의 중간에 내용 이해가 막히는 부분이 있어요. 어떻게 해야 되나요?

=> 위 질문들(Q1 ~ Q5)에 대한 답변은 "Section0. 오리엔테이션의 FAQ" 영상에서 자세하게 다룹니다.

Q6. jupyter 파일 내 table of contents(목차)는 어떻게 볼 수 있나요?

A6. https://www.inflearn.com/course/생초보-입문-파이썬/lecture/73183 참고바랍니다.

 

 

📚 수업 내용만큼이나 신경 써서 오리엔테이션 영상을 준비했습니다. 오리엔테이션 영상의 길이가 조금 길지만, 그 만큼 본 강좌뿐 아니라 앞으로 제작되는 강좌들의 방향, 취지에 대해 자세히 다루었고, 여러분들이 궁금해할 만한 내용에 대해서도 자세히 다루고 있습니다. 오리엔테이션을 통해 여러분의 학습 욕구를 자극시켜보세요!

📚 강사 혼자 수강생들 앞에서 원맨쇼하는 강의는 그만! 원리를 이해하고 다 같이 함께 가는 수업! 지금 시작해볼까요?