웹 개발

파이썬을 이용한 웹 크롤링(Web Crawling) 어플리케이션 만들기

dJango 으로 웹앱 환경을 구축하고, 웹크롤링 프레임워크인 scrapy 를 이용하여 웹 크롤링 앱을 만들어 봅니다.

(4.6) 수강평 70개

수강생 9,334명

onecue

Python 웹 크롤링

초급자를 위해 준비한
[웹 개발] 강의입니다.

1. 강좌 소개

원큐(onecue kim) 님의 웹 크롤링 어플리케이션 실습 강좌 입니다. 단지 어플리케이션만 만드는 실습이 아니라 웹 개발 환경에 대한 기본 설명부터 Django 프레임워크를 이용한 웹서버 환경 구축까지 차근차근 알려줍니다. 크롤링 프레임 워크인 Scrapy 의 구조에 대한 설명을 통해 프로그램 작동원리를 설명해 줘 이해를 높여주고, 직접 클리앙 보배드림 같은 대규모 커뮤니티 웹문서를 크롤링 실습까지 함께 진행할 수 있습니다.

2. 도움된는 분들

웹 개발에 대한 전체 개념을 잡고 싶은 분
웹 크롤링 어플리케이션을 제작하고 싶으신 분
Django 프레임워크를 이용해 보고 싶은 분

3. 강좌 특징

다루는 기술 : linux ubuntu 서버, Django 프레임워크, 크롤링 프레임 워크 (Spcrapy, Beautiful soup)
준비물 : PC
7개의 강의, 3시간 20분

안녕하세요
onecue입니다.

20,644

명

수강생

387

개

수강평

4.7

점

강의 평점

개

강의

커리큘럼

전체

7개 ∙ (3시간 14분)

섹션 1. 섹션 1. 웹 환경의 이해

2개 ∙ (53분)

1. 01 - 웹 환경의 이해 1
26:34
2. 02 - 웹 환경의 이해 2 (Backend)
27:10

섹션 2. 섹션 2. 웹 크롤러

2개 ∙ (1시간 13분)

3. 03 - 웹 크롤링 개발환경
29:51
4. 04 - 웹 크롤링 Beautiful Soup VS Scrapy
43:33

섹션 3. 섹션 3. Scrapy 를 이용한 웹 크롤링 구현하기

3개 ∙ (1시간 7분)

5. 05 - 웹 데이터 저작권 및 사이트 정책
13:50
6. 06 - 웹 크롤링 프레임워크 Scrapy 구조 분석하기
13:09
7. 07 - Scrapy 를 이용해 클리앙, 보배드림 크롤링 하기 실습
40:45

강의 게시일: 2016. 01. 25.

마지막 업데이트일: 2018. 03. 29.

수강평

전체

70개

4.6

70개의 수강평

대근
수강평 9
∙
평균 평점 5.0
2024. 12. 30.
5
100% 수강 후 작성
어플리케이션 만드는건줄 알았는데..ㅜ 클라우드 이용해서 만드는법 알려주시면 감사하겠습니다!
장성덕
수강평 80
∙
평균 평점 4.1
2025. 01. 21.
4
100% 수강 후 작성
.
sehseon
수강평 17
∙
평균 평점 4.4
2025. 04. 01.
4
71% 수강 후 작성
JaduYa
수강평 22
∙
평균 평점 5.0
2024. 10. 07.
5
100% 수강 후 작성
좋은 강의 감사합니다. 처음부터 다 알수는 없지만, 모를때 계속 찾아보고 계속 듣고 따라하다보면,,, 아~ 이거구나 하는게 점점더 많아 질것 같아서 기분이 좋네요! 감사합니다. ^^
김영일
수강평 6
∙
평균 평점 5.0
2024. 09. 24.
5
100% 수강 후 작성

onecue님의 다른 강의

지식공유자님의 다른 강의를 만나보세요!

Django 초보 가이드 - 실습을 통해 알아보는 장고 입문

onecue

무료

입문 / Django

4.7

(317)

11,300+

웹프레임 워크 장고(Django) 를 소개부터 기본적인 사용법을 알아봅니다.

입문

Django

비슷한 강의

같은 분야의 다른 강의를 만나보세요!

파이썬/장고로 결제 시작하기 (Feat. 아임포트) - 기본편

이진석

₩55,000

중급이상 / Python, Django

5.0

(9)

200+

웹 서비스 결제 연동에 어려움을 겪고 계신가요? 장고와 아임포트를 통해 여러분의 서비스에 결제를 빠르게 적용해보세요.

중급이상

Python, Django

파이썬 웹 개발(Flask, SQLAlchemy 이용)

최광성

₩22,000

초급 / Python, Flask, SQLAlchemy

3.7

(13)

100+

Update

Flask 는 파이썬 백엔드 프레임워크로 널리 사용되고 있습니다. Flask_SQLAlchemy는 Flask에서 사용하는 데이터베이스 orm 입니다. Flask_SQLAlchemy를 알면 간결한 코드로 웹 개발을 할 수 있습니다

초급

Python, Flask, SQLAlchemy

파이썬 퀵 스타트

쌤즈(SSAMZ)

₩165,000

입문 / Python, 웹 크롤링, Selenium, openpyxl, XlsxWriter

4.5

(2)

본 과정은 "파이썬 퀵 스타트 - 업무에 바로 쓰는 파이썬 - 루비 페이퍼(2023/04)" 책으로 진행되는 저자 직강입니다. 본 과정에서는 비전공자도 실생활 혹은 업무에서 프로그래밍을 활용할 수 있도록, 배우기 쉽다고 알려진 파이썬의 기본과 활용을 배우는 과정입니다. 문법 중심이 아닌 실제 비즈니스 사례들을 통해 파이썬 프로그래밍 방식을 익히고, HR 및 재무를 포함한 다양한 비즈니스 프로세스를 자동화함으로써 업무의 효율성과 신뢰성을 높일 수 있을 것입니다.

입문

Python, 웹 크롤링, Selenium

파이썬 동시성 프로그래밍 : 데이터 수집부터 웹 개발까지 (feat. FastAPI)

윤상석

₩46,200

초급 / Python, 동시성, FastAPI

4.9

(73)

1,500+

파이썬에서 동시성 / 병렬성 프로그래밍을 사용하여 데이터를 수집하여 MongoDB에 적재하고 분석하여 모던 웹 프레임워크인 FastAPI를 사용해 수집한 데이터를 시각화한 웹 앱을 개발합니다. 이 과정에서 코루틴, 멀티 스레딩과 멀티 프로세싱을 사용한 파이썬 동시성 / 병렬성 프로그래밍을 배우고 이해하며, 이를 사용하여 파이썬의 성능을 높이는 방법을 이해합니다. 파이썬 동시성 / 병렬성 코드를 실무에 바로 적용할 수 있도록 도와드립니다. 개발만 하고 끝나는 것이 아니라 AWS 클라우드에 실제 앱을 배포하고 운영하는 방법에 대하여 알려드립니다.

초급

Python, 동시성, FastAPI

실전 프로젝트로 배우는 데이터 앱 만들기 with Python & Streamlit

루비네 코딩

₩55,000

초급 / Python, streamlit

5.0

(8)

100+

Update

5개의 실전 프로젝트를 통해서 데이터/머신러닝 웹 애플리케이션 개발 방법을 배웁니다. Python과 Streamlit으로 웹 애플리케이션을 쉽고 빠르게 제작하고 배포할 수 있습니다. (2025년/6월 업데이트)

초급

Python, streamlit

30분 요약강좌 시즌6: PyScript

제주코딩베이스캠프

무료

초급 / pyscript, Python, JavaScript

4.7

(9)

400+

PyScript(파이스크립트)의 간단한 사용법을 익힐 수 있는 튜토리얼 강의입니다.

초급

pyscript, Python, JavaScript

파이썬으로 장고(Django) 공략하기: 입문

박순영

₩44,000

초급 / Python, Django

4.7

(75)

900+

Update

장고(2.0 이상)를 사용해서 웹 앱 프로젝트 개발을 시작하는 법을 배우며, 강의 내용을 활용해 간단한 비회원 게시판 사이트를 만들어 AWS에 실행할 수 있도록 합니다.

초급

Python, Django

한큐에 끝내는 해커톤 입문_아두이노와 웹

밍밍이와 맹맹이

₩3,300

초급 / Python, Arduino

4.4

(16)

200+

Update

해커톤과 프로젝트 입문, 이제는 아두이노와 파이썬, Flask로 시작하세요. 쿨한 프로젝트를 같이 만들어보며 해커톤과 프로젝트에 필요한 뼈대를 세워봅시다.

초급

Python, Arduino

ChatGPT API 입문 강의 - 30분 만에 다국어 번역기 웹 풀스택 개발하기

까룬

₩7,700

입문 / ChatGPT, Python, HTML/CSS

4.3

(26)

300+

ChatGPT API로 30분 만에 다국어 번역기 웹 풀스택 개발하고, 인공지능을 전혀 모르더라도 프로덕트에 최신 인공지능(ChatGPT API)을 도입해봐요!

입문

ChatGPT, Python, HTML/CSS

파이썬 웹서비스API 실전 프로젝트 - 돈 버는 디지털마케팅

노마드크리에이터

₩38,500

초급 / 디지털 마케팅, Python, 웹앱, 웹 크롤링, Flask

3.2

(5)

100+

Update

네이버쇼핑, 쿠팡파트너스 등 돈 버는 디지털마케팅은 꾸준함도 필요하지만, 과학적인 분석과 자동화로 쉽고 효과적으로 접근하세요. 인기상품, 키워드, 블로그, 쇼핑 정보를 수집하고 분석하는 프로그램을 만드는 핵심 비법을 알려드립니다.

초급

디지털 마케팅, Python, 웹앱

남박사의 파이썬 기초부터 실전 100% 활용

남박사

₩66,000

입문 / Python, 웹 크롤링

4.7

(119)

2,100+

답변 활발

프로그래밍을 접해보지 않은 초보 분들이나 파이썬에 대해 어느 정도 이론 지식이 있는 분들 모두를 대상으로 하며 실제 프로젝트를 기반으로 강좌의 주 목적은 파이썬에 대한 관심과 재미를 느끼는 것을 추구 합니다. 이 강좌를 통해 파이썬으로 보다 많은 아이디어와 보다 많은 재미를 얻으시길 바랍니다.

입문

Python, 웹 크롤링

파이썬 레시피 - 웹 활용 입문편 (전자책 포함)

반원

무료

초급 / Python

4.8

(43)

4,000+

이제 막 파이썬을 배웠는데 뭘 할 수 있을지 뭘 해봐야할 지 모르겠다면? 파이썬으로 웹 기술을 활용해보면서 웹 크롤링, 자동화, API 등의 사용법을 알아봅시다.

초급

Python

PySide6 GUI & EXE 프로그램 개발 강의 (PyQt5)

김지유

₩198,000

초급 / PyQT, pyside6, pyside, Python, pyinstaller

2.5

(2)

재미없는 Widget 소개식 강의 아닙니다. 제가 판매 중인 프로그램의 로그인 화면, 메인 화면을 똑같이 따라 만드는 실습 프로젝트 강의입니다.

초급

PyQT, pyside6, pyside

작정하고 장고! Django로 Pinterest 따라만들기 : 바닥부터 배포까지

Hyong Sok Park

₩77,000

22%

₩59,900

초급 / Django, Docker, Python

4.8

(79)

1,200+

Python의 대표 웹 프레임워크 django를 이용해 Pinterest 특유의 카드형 레이아웃 디자인을 본딴 웹서비스 구현해봅니다.

초급

Django, Docker, Python

공공데이터와 Folium(Python Library)으로 만드는 제주 오름 지도 안내 서비스

제주코딩베이스캠프

₩5,500

초급 / 웹앱, Folium, QGIS, Python

4.9

(26)

600+

Update

공공데이터와 Folium(폴리움)으로 제주 오름 지도 안내 서비스를 만들어 봅시다! 나만 볼 수 있는 서비스가 아니라, 남들도 접속할 수 있는 서비스요! 파일로 가지고 있는 포트폴리오 아니라 남들도 들어오는 서비스요!

초급

웹앱, Folium, QGIS

[AI] 프롬프트만으로 아이디어 구현하기_바이브코딩 입문

신제용

₩33,000

입문 / Python, 업무 생산성, 인공지능(AI)

5.0

(8)

답변 활발

코딩을 전혀 몰라도 돼요. 바이브코딩 공부 반나절이면 코드를 짜지 않고도 프로그램을 만들수 있게 될거예요. 웹 스크래핑, TTS, 챗봇, 게임 등 단계별 예제 10개를 직접 만들며 최신 AI코딩법을 익혀봅시다.

입문

Python, 업무 생산성, 인공지능(AI)

파이썬으로 영화 예매 오픈 알리미 만들기

한승우

무료

초급 / Python

4.9

(255)

7,000+

Update

파이썬을 통해 웹 크롤링, 텔레그램 봇, AWS EC2를 이용하여 CGV 용산아이파크몰의 IMAX 영화 예매 오픈 알리미를 만들어보는 강좌입니다. 이 강좌를 통해, 웹 크롤링에 대한 기본적인 이해부터, 텔레그램 봇을 만들어서 서버로 구축하는 과정까지 학습하실 수 있습니다!

초급

Python