인프런 커뮤니티 질문&답변

안녕하세요.

우선 양질의 컨텐츠를 제공해주신 강사님께 감사의 말씀 올립니다.

1. 목적 : 게시판(https://seeko.earlyadopter.co.kr/bbs/board.php?bo_table=mainnews&page=1)의 제목을 크롤링한다.

2. 작성코드

import requests

from bs4 import BeautifulSoup

​

for index in range(1, 4):

    res = requests.get('https://seeko.earlyadopter.co.kr/bbs/board.php?bo_table=mainnews&page='+ str(index))

    soup = BeautifulSoup(res.content, "html.parser")

    data = soup.select('#fboardlist > div.list-board > ul > li > div.wr-subject > a')

​

    for item in data:

        print(item.get_text().split('\t')[5])

위와 같이 작성하면 원하는 답을 도출할 수 있었습니다. 여기서 질문드립니다.

3. 질문

수정코드 : data = soup.select('#fboardlist > div.list-board > ul > *****li:nth-child(1) > div.wr-subject > a')

게시판의 1개의 제목만 출력하기위해 위와 같이 수정하고 item.get_text() 하면 아래와 같이 나옵니다.

1

					탄소 발자국을 줄이는 나이키 신발											1


위와 같이 데이터가 출력되기에 탭키로 스플릿해서 출력했습니다. 결국 원하는 데이터가 도출되기는 하였으나 왠지 좀 불안해보이고 전문성이 떨어져 보입니다.

아래는 해당 제목의 엘러먼트 입니다.
<a href="https://seeko.earlyadopter.co.kr/bbs/board.php?bo_table=mainnews&amp;wr_id=745898" class="item-subject">
  <span class="orangered visible-xs pull-right wr-comment">
    <i class="fa fa-comment lightgray"></i>
    <b>1</b>
  </span>
  <san class="wr-icon wr-image"></span>					탄소 발자국을 줄이는 나이키 신발											<span class="count orangered hidden-xs">1</span>
</a>

엘러먼트 값 중 a태그 안의 구성은 ①텍스트가 없는 태그, ②불필요한 텍스트가 작성된 태그, ③원하는 결과 값을 가지고 있는 텍스트
등으로 나눠볼 수 있으며 이를 분별하는 방법에 대한 문의 입니다.
①과 ②, ③은 get_text로 분리할 수 있지만 ②와 ③은 어떻게 분리할지 잘 모르겠습니다. 아무리 머리를 쥐어짜도 스플릿외에는 생각이 나지 않습니다.
하위 디렉토리(태그)를 제거하여 추출하거나 동일 디렉토리의 특정태그만 분별 or 태그가 없는 택스트만 분별하는 방법이 있는지요?

감사합니다.