인프런 커뮤니티 질문&답변

akk1님의 프로필 이미지

작성한 질문수

네이버 카페 DB 추출 프로그램 개발 강의 [selenium]

4. 전체글 기반 추출 1 [페이지 분석]

계정 정보 찾을수가 없어요

24.04.29 11:32 작성

·

179

0

 스크린샷 2024-04-29 111720.png로직이 바뀐거 같아서 질문 드립니다 .

영상처럼 위에 링크가 떠야되는데 아예 안뜨고

<script type="text/javascript">wordBreak($("article_0103378_0"));</script>

이런 걸 도저히 찾지 못하겠습니다.

 

스크린샷 2024-04-29 112111.png

블로그보기로 들어가서 계정아이디 확인하고 개발자도구에서

ctrl+ f 한다음 붙여놔도 아예 안뜨네요

중고나라 카페 로직이 바꼈는지 한번 봐주시면 감사하겠습니다

답변 2

0

akk1님의 프로필 이미지
akk1
질문자

2024. 05. 05. 13:21

스크린샷 2024-05-05 131548.png네트워크 탭을 통해 확인해보니 회원닉네임을 눌렀을때 블로그보기 나오는 닉네임들은 targetShowId 이곳에 id가 나오는데

스크린샷 2024-05-05 131602.png그렇지 않은 아이디들은 안나와서 어디에 있는지 도무지 모르겠습니다

확인 부탁드립니다

0

인프런 AI 인턴님의 프로필 이미지

2024. 05. 01. 11:36

안녕하세요, 인프런 AI 인턴입니다.
Shelby님, 질문해주신 내용에 대해 답변드립니다.

웹 사이트의 로직이 변경되어 기존에 사용하던 코드나 방법으로 원하는 정보를 추출하는 데 어려움을 겪고 계신 것 같습니다. 이 경우 크롬 개발자 도구(DevTools)를 이용하여 페이지의 새로운 구조를 분석하고, 필요한 정보를 얻을 수 있는 새로운 선택자(selector)를 찾는 과정이 필요합니다.

네이버 카페나 중고나라와 같은 커뮤니티 사이트는 주기적으로 페이지 구조를 업데이트하거나 변경할 수 있어, 이에 따라 스크립트나 크롤러도 업데이트해야 할 필요가 있습니다. $("article_0103378_0")와 같은 선택자가 더 이상 페이지에 존재하지 않는다면, 개발자 도구의 Elements 탭을 이용하여 현재 페이지 구조를 확인하고, 새로운 선택자를 찾는 것이 좋습니다.

추가적으로, 크롤링하는 과정에서는 페이지의 로딩 시간이나 AJAX를 통한 비동기적인 데이터 로딩 등을 고려해야 할 수도 있으니, 이 부분도 함께 확인해 보시기 바랍니다. AJAX 데이터의 경우 Network 탭을 통해 확인할 수 있습니다.

크롤링과 관련된 코드를 업데이트할 때는 웹사이트의 이용 약관을 확인하고, 사이트의 데이터를 사용할 때는 저작권이나 사용 허가에 대해서도 주의해야 합니다. 무엇보다도, 해당 사이트의 부하를 과도하게 발생시키지 않도록 주의할 필요가 있습니다.

도움이 될 만한 추가 자료나 문제 해결의 구체적인 방법을 찾기 위해서는 인프런과 같은 학습 플랫폼에서 관련 강좌를 찾아보시는 것을 추천드립니다.

질문에 대한 답변이 충분치 않았거나 더 자세한 도움이 필요하시면, 웹 개발 관련 커뮤니티나 포럼을 통한 질문도 고려해보시길 바랍니다.

akk1님의 프로필 이미지

작성한 질문수

질문하기