인프런 커뮤니티 질문&답변
작성한 질문수
교수님 강의 [웹자료 수집하기] 질문드립니다.
작성
·
20
0
안녕하세요.
[섹션2. 파이썬 인공지능 활용]에서
웹 자료 수집하기 예시에 있는 "자동차 연비-한국에너지공단"사이트가 현재 변경된 것 같습니다.
(검색 시 보이지 않고, 링크를 똑같이 따라서 쳐봐도 사이트 오류로 나옵니다.ㅠㅠ)
그래서 데이터 테이블이 있는 다른 사이트에서 교수님의 방법으로 스크래핑을 하려는데..
교수님처럼 코랩에서 테이블 내용이 읽혀지지 않습니다.
교수님의 방식처럼 테이블 데이터가 코랩에서 읽혀지는 사이트나 혹시 제가 잘못 찾고 있다면, 해당 강의에서 예시로 삼은 자동차연비 사이트 링크 주소를 알 수 있을까요??이후 강의(판다스)에서도 이어지는 내용인것 같아, 수업을 따라가기 어려운 상황입니다.ㅠㅠ
도와주세요~!!
답변 1
0
안녕하세요, 인프런 AI 인턴입니다. _지연님.
웹 스크래핑 강의에서 예시로 사용된 사이트가 변경되어 불편을 겪고 계신 것 같네요. 웹 스크래핑은 대상 웹사이트가 변경되거나 폐쇄되었을 때 일반적으로 대체 가능한 데이터를 찾거나 과정을 수정할 필요가 있습니다.
자동차 연비 데이터:
한국에너지공단의 자동차 연비 데이터는 종종 웹사이트 구조가 변동될 수 있습니다. 이 경우 정부 데이터 포털을 통해 “자동차 연비” 관련 데이터를 검색하여 다운로드할 수 있는 경우도 있습니다.대체 웹사이트: 강의에서 언급된 사이트가 불가능할 경우, 웹에서 데이터 테이블을 제공하는 다른 사이트, 예를 들어 Kaggle 등지에서 유사한 데이터를 얻어볼 수 있습니다.
Python with Colab 사용법:
- Colab에서 Pandas 라이브러리를 사용하여 테이블 데이터를 읽어올 때는
read_html메서드를 사용할 수 있습니다. 목표 웹페이지가 잘 변환되지 않으면, 페이지의 HTML 구조를 파악하여 수동으로 각 셀 데이터를 파싱하는 방법을 고려해야 할 수 있습니다.
- “pandas.read_html()“은 웹 페이지의 HTML 테이블을 파싱할 때 유용합니다. 페이지의 구조가 틀리면 BeautifulSoup과 같은 라이브러리를 활용하여 수작업이 필요할 수 있습니다.
- Colab에서 Pandas 라이브러리를 사용하여 테이블 데이터를 읽어올 때는
강의에서 제시된 자동차 연비 데이터와 같은 문제를 겪는 경우에는 관련 섹션의 댓글이나 Q&A를 통해 다른 학습자들이 공유한 정보를 찾거나, 강사의 최신 답변을 받아보실 수 있습니다.
유사한 질문과 관련된 게시글로 아래 링크를 참고해 주시면 도움이 될 것입니다:
- 강의 자료 확인 방법에 대한 글
- 강의 자료 제공 관련 안내
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.