인프런 커뮤니티 질문&답변

제로드0님의 프로필 이미지
제로드0

작성한 질문수

실시간 트렌드 홈페이지 개발(파이썬 크롤링 + Flask)

소스 올려봅니다

작성

·

209

0

from flask import Flask, render_template,request

app = Flask(__name__)

import requests
from bs4 import BeautifulSoup

# 크롤링 라이브러리 import
import requests
from bs4 import BeautifulSoup

from openpyxl import Workbook

write_wb = Workbook()
write_ws = write_Wb.active

write_ws.cell(1,1,"안녕")

write_wb.save("result.xlsx")


@app.route('/')
def hello():
    return render_template("index.html")


@app.route('/result'methods=['POST'])
def result():
    if request.method == 'POST':

        keyword = request.form['input1']
        page = request.form['input2']

        # https://search.daum.net/search?nil_suggest=btn&w=news&DA=SBC&cluster=y&q= + keyword

        daum_list = []

        for i in range(1int(page) + 1):

            req = requests.get("https://search.daum.net/search?nil_suggest=btn&w=news&DA=SBC&cluster=y&q=" + keyword + "&p=" + page)
            soup = BeautifulSoup(req.text, 'html.parser')

            for i in soup.find_all("a"class_="f_link_b"):
                print(i.text)
                daum_list.append(i.text)

        return render_template("result.html"daum_list = daum_list)


if __name__ == "__main__":
    app.run()


답변 2

0

제로드0님의 프로필 이미지
제로드0
질문자

답변 항상 감사합니다.

파이참에서 setting 으로 모듈 설치 하니 됩니다.

저는 비쥬얼스튜디오로 따라 했거든요

이게 익숙해서요

근데 프로젝트 가상환경을 잘 못 구성해서 안되는 것 같습니다

제가 잘못 한겁니다.

이제 파이참에서 되니깐 조금 남은 강의 완강하겠습니다.

많은 실전 크롤링 강좌 해주시면 참 좋을 것 같습니다.

제가 원하는 건 크롤링을 db에 저장하고 주기적으로 알아서 크롤링해서 DB에 저장되고 그것을 웹페이지게 계속 업데이트하여 표현되게끔 하는 관련 강의가 있으면 좋을 것 같습니다.

게시판 파싱도 구현해보면 좋을 것 같구요

다른 곳들에서는 찾아보기 힘든 주제들인것 같습니다.

짧고 재미있는 프로젝트 보여주셔서 감사합니다.

0

개복치개발자님의 프로필 이미지
개복치개발자
지식공유자

안녕하세요 제로드님

이전에 답변드린 것 처럼 새롭게 프로젝트를 하셔도 안되셨나요??

코드를 통째로 깃허브에 올리셔서 링크를 전달해주실 수 있으실까요~??

제로드0님의 프로필 이미지
제로드0

작성한 질문수

질문하기