인프런 커뮤니티 질문&답변

안녕하세요 선생님

파이썬 자체를 처음 깔아봤는데 선생님 덕분에 여기까지 왔습니다...

감사드려요ㅠㅠㅠㅠ

뉴스기사들을 엑셀화 하는 거 까지는 따라갔는데

기간의 범위를 정하고 싶어요 머리가 안 돌아가네요

ex) 3분기 기사만 가져오고 싶다 / 8월달 기사만 가져오고 싶다

어느 부분을 어떻게 바꿔주면 되는지 코드 부탁드립니다

+네이버 기사 가져올때 400페이지까지 밖에 못 가져오던데 혹시 다른 방법은 없을까요?

#네이버기사 크롤링 엑셀저장
import requests
from bs4 import BeautifulSoup
import time
import pyautogui
from openpyxl import Workbook


#사용자입력
keyword = pyautogui.prompt("검색어를 입력하세요")
lastpage = int(pyautogui.prompt("몇 페이지까지 크롤링 할까요?"))

#엑셀생성하기
wb = Workbook()

#엑셀 시트 생성하기
ws = wb.create_sheet(keyword)

#열 너비 조절
ws.column_dimensions['A'].width = 60
ws.column_dimensions['B'].width = 60
ws.column_dimensions['C'].width = 120
ws.column_dimensions['D'].width = 60

#행 번호
row = 1

#페이지 번호
pageNum = 1
for i in range(1, lastpage*10, 10) :
    print(f"{pageNum}페이지 크롤링중입니다 =================")
    response = requests.get(f"https://search.naver.com/search.naver?sm=tab_hty.top&where=news&query={keyword}&start={i}")
    html = response.text
    soup = BeautifulSoup(html, 'html.parser')
    articles = soup.select("div.info_group") #뉴스기사 div 10개 추출

    for article in articles:
        links = article.select("a.info") #리스트
        if len(links) >= 2: #링크가 2개 이상이면
            url = links[1].attrs['href'] #두번째 링크의 href를 추출
            response = requests.get(url, headers={'User-agent': 'Mozila/5.0'})
            html = response.text
            soup_sub = BeautifulSoup(html, 'html.parser')

            #만약 연예 뉴스라면
            if "entertain" in response.url: 
                title = soup_sub.select_one(".end_tit")
                content = soup_sub.select_one("#articeBody")
                date = soup_sub.select_one("div.article_info > span > em")
            #만약 스포츠 뉴스라면
            elif "sports" in response.url:
                title = soup_sub.select_one("h4.title")
                content = soup_sub.select_one("#newsEndContents")
                #본문 내용안에 불필요한 div, p제거
                divs = content.select("div")
                for div in divs:
                    div.decompose()
                paragraphs = content.select("p")
                for p in paragraphs:
                    p.decompose()
            else: 
                title = soup_sub.select_one(".media_end_head_headline")
                content = soup_sub.select_one("#newsct_article")
                date = soup_sub.select_one("span.media_end_head_info_datestamp_time._ARTICLE_DATE_TIME")

            print("=======링크======= \n", url)
            print("=======제목======= \n", title.text.strip())
            print("=======본문======= \n", content.text.strip())
            print("=======날짜======= \n", date)
            ws['A1'] = 'URL'
            ws['B1'] = '기사제목'
            ws['C1'] = '기사본문'
            ws['D1'] = '업로드날짜'

            ws[f'A{row}'] = url
            ws[f'B{row}'] = title.text.strip()
            ws[f'C{row}'] = content.text.strip()
            ws[f'D{row}'] = date.text.strip()  
            
            row=row+1

    pageNum = pageNum+1
wb.save(f'{keyword}_result.date.xlsx')