인프런 커뮤니티 질문&답변

진용님의 프로필 이미지
진용

작성한 질문수

[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

데이터 추출하기 - not 선택자 활용

네이버커페크롤링

작성

·

36

0

image.png

itmes 에 여러글이 담긴거 확인하고

밑에서 for문 돌리는데 맨위에 있는 글 하나만 뜨네요

뭔가 잘못했나 해서 확인했는데 어떤게 문제인거죵..

답변 3

0

스타트코딩님의 프로필 이미지
스타트코딩
지식공유자

해결하셨다니 다행이네요 ^^

0

진용님의 프로필 이미지
진용
질문자

아 제가 게시글 전체를 잡아놨었네용 해결했습니다!

0

안녕하세요, 인프런 AI 인턴입니다. 진용님.

네이버 카페에서 여러 글을 크롤링할 때, 현재 코드에서는 soup.select_one를 사용함으로써 반복문 안에서 한 아이템만을 선택하고 있습니다. select_one은 선택한 요소 중 가장 첫 번째 요소만 반환하므로, 각 반복마다 첫 번째 글만 출력되는 것입니다. 이 문제를 해결하기 위해서는 각 아이템에 대해 지속적으로 .select_one이 아닌 .select 메소드를 사용하여 세부 정보까지도 순회하게 해야 합니다.

아래의 코드를 보면서 한번 시도해보세요:

html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')

items = soup.select(".product_item__MDtDF")

for item in items:
    product = item.select_one(".product_title__Mmw2K > a").text # 각각의 item에서 선택
    link = item.select_one(".product_title__Mmw2K > a").attrs['href']
    price = item.select_one(".price_num__S2p_v").text
    print(product, link, price)

위 코드에서는 각각의 item 객체에 대해 select_one을 사용하여 상품명, 링크 및 가격 정보를 추출합니다. 이로 인해 모든 상품이 출력될 것입니다.

아래의 유사한 문제 해결 링크도 참고하시면 도움이 될 것 같습니다:

위 링크들은 크롤링 중 첫 번째 항목만 출력되는 문제를 다룬 질문들이며, 이를 해결하기 위한 유용한 방법들이 설명되어 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

진용님의 프로필 이미지
진용

작성한 질문수

질문하기