인프런 커뮤니티 질문&답변

감스트의웃음노예님의 프로필 이미지

작성한 질문수

실시간 트렌드 홈페이지 개발(파이썬 크롤링 + Flask)

다른 페이지 크롤링

실행결과가 이상합니다 실시간 순위 1위만 뜨네요

작성

·

262

0

파이썬 소스입니다

from flask import Flask, render_template
app = Flask(__name__)

import crawling

import requests
from bs4 import BeautifulSoup

@app.route('/')
def hello():

list_naver = crawling.naver()
list_daum = crawling.daum()

return render_template("index.html",
naver = list_naver,
daum = list_daum
)

@app.route('/about')
def about():
return "여기는 어바웃입니다."

if __name__ == '__main__':
app.run()







crawling 파일소스입니다
import requests
from bs4 import BeautifulSoup

def naver():
req = requests.get("https://comic.naver.com/webtoon/weekday.nhn")

soup = BeautifulSoup(req.text, 'html.parser')

list_naver = []

for i in soup.select("#realTimeRankFavorite > li"):
list_naver.append(i.find("a").text)

return list_naver


def daum():
req = requests.get("https://www.myktoon.com/web/league/webtoon/list.kt")

soup = BeautifulSoup(req.text, 'html.parser')

list_daum = []

for i in soup.select("#reagToon > ol > li"):
list_daum.append(i.find("h4").text)

return list_daum

답변 6

0

개복치개발자님의 프로필 이미지
개복치개발자
지식공유자

앗 ㅜㅜ 오래 지나지 않은 최신 강좌이긴 한데 코로나가 터지고 다음 사이트가 개편되어서 ㅠㅠ 죄송합니다 ㅠㅠ

0

그대로 끝까지 따라하고 싶어도 이미 안되는 사이트(다음)이라 에러한 부분이 커서 답답한 마음에 글 써봤습니다 물론 대부분의 응용it강좌가 최신화가 느리지만요..

0

개복치개발자님의 프로필 이미지
개복치개발자
지식공유자

강의를 끝까지 따라하시고 다시 코드를 보시면 문제 해결 방법이 보일 수도 있으니

우선 강의를 끝까지 따라하시는 것을 권장드립니다~

0

개복치개발자님의 프로필 이미지
개복치개발자
지식공유자

안녕하세요 감스트의웃음노예님!

beautifulsoup로 안돼는 것은 대부분 selenium을 사용하면 해결되는 경우가 많습니다.

실시간순위 1등을 추출하셨으면 나머지도 쉽게 하실 수 있을 것이라 생각합니다.

강의 내용 이외에는 코드 수정이 힘든 점 양해 부탁드립니다 ㅠㅠ

0

웹툰 순위가 나와있는 부분을 몇몇 사이트에서 크롤링해서 만들고 싶습니다

0

개복치개발자님의 프로필 이미지
개복치개발자
지식공유자

안녕하세요 

url 부분이 이런 식으로 되어 있는데, 어떤부분을 어떻게 크롤링하고싶으진건지 스크린샷까지 첨부해주시면 좋을 것 같습니다.

comic.naver.com/webtoon/weekday.nhn
https://www.myktoon.com/web/league/webtoon/list.kt