인프런 커뮤니티 질문&답변

예제에 없는부분이라 혼자 학습하려했지만 3일째 답을 찾지못해 질문을 남깁니다...

https://www.k-startup.go.kr/common/announcement/announcementList.do?mid=30004&bid=701&searchAppAt=A

해당 링크는 k-startup 사업공고 홈페이지입니다.

아래에 보이는 코드대로 사업이름과 마감일자는 학습한대로 크롤링 했으나 가장 중요한 사업별 '링크(href)'가 'javascript'로 되어있어서 포기했습니다. 

selenium까지 사용해서 해당링크를 클릭하고 들어가 url가져오기 탭을 눌러 xhr신호를 받아 링크를 생성하는것을 확인했지만 xhr 주소가 너무나도 길어 특정한 규칙을 찾기가 어렵습니다. 

제 질문은 다음과 같습니다. 직방사이트 크롤링 예제를 보면 선생님이 네트워크탭에서 xhr 신호를 찾아 해당 링크를 직접 파이썬 코드에 복사 붙여넣기 하셨습니다.

저는 반복문을 통해 여러페이지에서 xhr 주소를 손으로 붙여넣는게 아니라 코드를 통해 자동으로 가져오게 하고싶습니다. 해당 페이지에서 발생하는 xhr 신호를 확인하고 크롤링하는 방법이 있을까요?

제 지식이 앝아 추측한 내용이 이정도이지만 링크를 가져올 수 있는 더 나은방법이 있다면 답변 부탁드립니다.

감사합니다.

import requests
from bs4 import BeautifulSoup
from requests_html import HTMLSession

# find와 find_all로 크롤링 해오기
r = requests.get("https://www.k-startup.go.kr/common/announcement/announcementList.do?mid=30004&bid=701&searchAppAt=A")
bs = BeautifulSoup(r.text, 'html.parser')

lists = bs.select("ul.ann_list_impor > li > h4 > a")
detail = bs.select("ul.ann_list_impor > li#liArea0 > ul > li")
impor = bs.select("ul.ann_list_impor > li")

data = []

# 게시물 수 만큼 반복문 돌려서 게시글의 마감일자, 제목 크롤링하기
for impo in range(0,len(impor)):
    info = {}
    raw = bs.select("ul.ann_list_impor> li#liArea%s > ul > li" % impo)
    for i in raw:
        # print(i)
        if i == raw[0]:
            info["출처"] = i.text
        elif i == raw[1]:
            info["구분"] = i.text
        elif i == raw[2]:
            info["마감일자"] = i.text.replace("마감일자\xa0\xa0","")
        elif i == raw[-1]:
            continue
    data.append(info)
# print(data)
title = []
for li in lists:
    title.append(li["title"].replace("상세내용으로 이동", ""))
# print(title)

message = []
for i in range(len(data)):
    titles = data[i]["마감일자"]+"\n"+ title[i]
    message.append(titles)
print(message)