인프런 커뮤니티 질문&답변
작성한 질문수
답변 4
0
안녕하세요 다비님,
강의 잘 듣고 있습니다. 저도 나라장터 웹사이트에서 직접 크롤링 하는 법을 익히고 싶은데요. 하기 다른 분 질문 글에 답변주신 것처럼 "웹 페이지 수집에서 POST 방식 추가 학습한 후 조달청 웹페이지 수집" 이 부분은 향후 추가로 올려주실 계획으로 이해하면 될까요? 오늘 하루도 즐거운 하루 되셨기를 바랍니다!
빠른 회신 감사드립니다 다비님,
다만, 제가 오늘 처음 결제하고 듣고 있는데 기존 나라장터 강의가 삭제 된 것으로 보여, 링크 주신 https://inf.run/sFpDm 내용을 이해하려면 기존 강의 내용을 이해해야 가능한 것은 아닌지 생각이 듭니다. 삭제된 강의를 듣지 않고 다른 강의를 들어도 충분히 활용 가능한 부분일까요?
안녕하세요? James Park님.
위 내용과 삭제된 강의는 다른 내용이라고 보셔도 좋습니다.
웹크롤링은 이전 방식이 GET방식이었는데 POST로 바뀌었고, API 역시 규약이 완전히 바뀌어서 새로운 과제라고 할 수 있습니다.
데이터 수집은 웹페이지 수집보다는 API를 활용하시는 것이 훨씬 더 안정적이고 빠릅니다. 저는 API를 통한 수집을 권장합니다.
그리고... 데이터 수집을 할 때 POST는 난이도가 중급이상이어서,
POST를 원활하게 수집하실 정도의 실력이시면, 엑셀이 아닌 다른 고급언어를 배우셔도 되는 정도라고 생각합니다.
이런 이유로 POST는 강의에 포함시키지 않았던 것이고, 링크의 URL은 그래도 수집이라도 하시기 원하는 분들을 위해 제공해드린 것입니다.
하지만, POST를 처음 배우시더라도, 강의 전체 내용에서 다루는 Power Query를 잘 이해하셨다면, 제가 드린 코드를 참고로 응용 가능하다고 생각합니다.
다른 내용을 충분히 들으신 후, 한 번 도전해보시고, 잘 안되시면 알려주세요.
감사합니다.
0
0
안녕하세요? daniel.na님..
송구하게도 일정 때문에, 이번 달에 추가하기는 좀 어려울 것 같습니다.
5월 초 연휴 기간에(연휴가 있어 다행입니다 ^^) 정리해서 업데이트 해보겠습니다. 불편을 드려 죄송합니다.
- 웹 페이지 수집에서 POST 방식 추가 학습한 후 조달청 웹페이지 수집
- 2024년 12월 갱신된 조달청 API에 맞게 API 통신 수정
크게는 이렇게 2가지 업데이트를 진행할 계획입니다.
감사합니다.
0
안녕하세요, 인프런 AI 인턴입니다. daniel.na님.
나라장터 사이트의 개편으로 인해 크롤링 방법이 달라지고 어려움을 겪고 계신 것 같습니다. 웹사이트가 변경되면 이전에 사용하던 크롤링 방법이 작동하지 않을 수 있는데, 이럴 경우 새롭게 구성을 이해하고 적용해야 합니다.
문제 해결을 위한 방법
웹사이트 분석:
- 개편된 나라장터 사이트의 HTML 구조와 각 요소의 변경 사항을 살펴봐야 합니다. 특히, 데이터가 로딩되는 방식이나 API의 변경 사항에 주의를 기울이십시오.
- 개편된 나라장터 사이트의 HTML 구조와 각 요소의 변경 사항을 살펴봐야 합니다. 특히, 데이터가 로딩되는 방식이나 API의 변경 사항에 주의를 기울이십시오.
개발자 도구 활용:
- 크롬 개발자 도구(F12)를 사용하여 네트워크 탭에서 페이지가 실제로 어떻게 데이터를 가져오고 있는지 확인하세요. 변경된 API 또는 데이터 요청 방식이 있을 수 있습니다.
- 크롬 개발자 도구(F12)를 사용하여 네트워크 탭에서 페이지가 실제로 어떻게 데이터를 가져오고 있는지 확인하세요. 변경된 API 또는 데이터 요청 방식이 있을 수 있습니다.
크롤러 수정:
- 새로운 구조에 맞춰 기존의 크롤링 코드를 수정하거나 업데이트해야 합니다. 예를 들어, GET 요청에서 POST 요청으로 바뀌었다면 요청 형태를 변경하세요.
- 새로운 구조에 맞춰 기존의 크롤링 코드를 수정하거나 업데이트해야 합니다. 예를 들어, GET 요청에서 POST 요청으로 바뀌었다면 요청 형태를 변경하세요.
참고할 만한 기존 질문
- 나라장터 크롤링 시 데이터 수집이 안 될 때와 같은 비슷한 상황 해결 사례를 참고해 보세요.
개편 때문에 혼란스러우시겠지만, 위 방법들이 도움되길 바랍니다. 자세한 크롤링 코드 예제나 방식은 강의의 내용이나 추가 자료에 따라 다를 수 있으니, 강의를 진행하신 강사님의 업데이트나 추가 자료도 확인해 보시면 좋을 것 같습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
안녕하세요? James Park님.
API버전은 아래 링크를 확인해주시고,
https://inf.run/32xru
웹페이지를 직접 수집하는 방식은 POST로 변경되어 예시 코드를 아래 질문에 답변 올린 바 있습니다. 이 내용을 참고해주시면 감사하겠습니다.
https://inf.run/sFpDm
조달청 데이터는 종류도 어마어마하게 많고, 내려오는 칼럼도 다양해서 수강하시는 분들이 필요에 맞게 수정/보완하여 사용하시는 것이 맞다고 생각합니다.
혹시 해보시다가 막히시는 부분이 있으시면 알려주세요.
감사합니다.