인프런 커뮤니티 질문&답변

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!
- 먼저 유사한 질문이 있었는지 검색해보세요.
- 서로 예의를 지키며 존중하는 문화를 만들어가요.
- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.

안녕하세요!

쌤 인프런, 유튜브 강의 보면서 잘 만들어 가고 있었는데

현재 코드에서 아무리 수정을 해도 css를 잘못 가져오는건지 오류가 생겨서 답답해서 질문 들고 왔습니다

현재 css 코드 찾기 좀 부탁드릴게요ㅠㅠ

안되는 항목

✔연예뉴스 -> 내용을 못 가져옴

✔스포츠뉴스 -> 제목, 날짜, 내용 다 못 가져옴

css를 여러개 바꿔서 넣어봐도 저는 자꾸 찾을 수 없다고 크롤링 됩니다 도와주세요,,,,,,,

#네이버기사 크롤링 엑셀저장
import requests
from bs4 import BeautifulSoup
import time
import pyautogui
from openpyxl import Workbook

#사용자입력
keyword = pyautogui.prompt("검색어를 입력하세요")
lastpage = int(pyautogui.prompt("몇 페이지까지 크롤링 할까요?"))

#엑셀 생성
wb = Workbook()

#엑셀시트 생성
ws = wb.create_sheet(keyword)

#열 너비 조절
ws.column_dimensions['A'].width = 60
ws.column_dimensions['B'].width = 30
ws.column_dimensions['C'].width = 60
ws.column_dimensions['D'].width = 150

#행 번호
row = 1

#페이지 번호
pageNum = 1
for i in range(1, lastpage*10, 10) :
    print(f"{pageNum}페이지 크롤링중입니다 =================")



    response = requests.get(f"https://search.naver.com/search.naver?where=news&query={keyword}&sm=tab_opt&sort=1&photo=0&field=0&pd=3&ds=2024.04.11&de=2024.15.20&news&query={keyword}&start={i}")
    html = response.text
    soup = BeautifulSoup(html, 'html.parser')
    articles = soup.select("div.info_group") #뉴스기사 div 10개 추출

    for article in articles:
        links = article.select("a.info") #리스트
        time.sleep(0.7)
        if len(links) >= 2: #링크가 2개 이상이면
            url = links[1].attrs['href'] #두번째 링크의 href를 추출
            response = requests.get(url, headers={'User-agent': 'Mozilla/5.0'})
            html = response.text
            soup_sub = BeautifulSoup(html, 'html.parser')

            content = soup_sub.select_one("#newsct_article")
            if content:
                content_text = content.get_text(separator="\n")
            else:
                content_text = "내용을 찾을 수 없습니다."


            title = None
            date = None

            #만약 연예 뉴스라면
            if "entertain" in response.url: 
                title = soup_sub.select_one(".end_tit")
                date = soup_sub.select_one("div.article_info > span > em")
                content = soup.select_one("#articeBody")
            #만약 스포츠 뉴스라면
            elif "sports" in response.url:
                title = soup_sub.select_one(".Main_article_title")
                content = soup.select_one("._article_content")
            else: 
                title = soup_sub.select_one(".media_end_head_headline")
                date = soup_sub.select_one("span.media_end_head_info_datestamp_time._ARTICLE_DATE_TIME")
            
                #본문 내용안에 불필요한 div, p제거
                divs = content.select("div")
                for div in divs:
                    div.decompose()
                paragraphs = content.select("p")
                for p in paragraphs:
                    p.decompose()



            print("=======제목======= \n", title.text.strip() if title else "제목을 찾을 수 없습니다.")
            print("=======날짜======= \n", date.text if date else "날짜를 찾을 수 없습니다.")
            print("=======URL======= \n", url)
            print("=======내용======= \n", content.text.strip() if content else "내용을 찾을 수 없습니다")
            # 'else' 블록에서 'date' 변수 정의는 여기서 끝나도록 수정

            ws['A1'] = '제목'
            ws['B1'] = '날짜'
            ws['C1'] = 'URL'
            ws['D1'] = '내용'

            ws[f'A{row}'] = title.text.strip() if title else "제목을 찾을 수 없습니다."
            ws[f'B{row}'] = date.text.strip() if date else "날짜를 찾을 수 없습니다."
            ws[f'C{row}'] = url
            ws[f'D{row}'] = content_text.strip() if content else "내용을 찾을 수 없습니다."
            
            
            row=row+1
    
    #마지막 페이지 여부 확인하기
    next_button = soup.select_one("a.btn_next")

    if next_button:
        isLastPage = next_button.attrs.get('aria-disabled', None)
        if isLastPage == 'true':
            print("마지막 페이지 입니다.")
        break


    pageNum = pageNum+1

    
wb.save(f"{keyword}_4월_뉴스기사_크롤링(4)_내용까지_0411~0415(3).xlsx")