인프런 커뮤니티 질문&답변

major님의 프로필 이미지

작성한 질문수

파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)

크롤링할 페이지가 없는 경우 확인 방법과 여러 페이지 한번에 크롤링하는 기법 (업데이트)

재미있게 공부중입니다 여러페이지 한번에 크롤링중

해결된 질문

20.10.26 14:40 작성

·

480

0

재미있게 보면서 익히고 있습니다 

여러페이지를 크롤링할때 url뒤쪽에 0~10까지 붙여서 

링크를 하는건 알겠는데요

2페이지 3페이지 넘길때 url주소는 그대로 인경우가 있거든요 

이럴때는 어떻게 해야하나요

예를 들어서

제가 지역별 매물을 크롤링하고 싶은데요

https://onland.kbstar.com/quics?page=C059652

서울시 무슨동를 검색해서 들어가도

주소는 변화가 없어서 당황스럽습니다 ㅎ

잘 부탁드립니다 감사합니다

답변 2

1

잔재미코딩 DaveLee님의 프로필 이미지

2020. 10. 27. 10:25

안녕하세요. 

주소가 그대로인 경우는 get 이라는 방식이 아니라, post 방식으로 주소를 넘기는 것으로 이해가 됩니다.

그럴 경우에는 post 방식으로 해야하는데요. 설명이 매우 복잡한 또다른 기술이라서, 관련 부분은 글로 쓸 수 있는 상황은 아니예요. 이 부분은 양해를 부탁드립니다.

가볍게 다음 링크를 검토해보셔도 좋고, post 크롤링으로 검색해보시면 좋을 것 같습니다.

https://www.fun-coding.org/crawl_advance2.html

아니라면, selenium/scrapy 과정에 있는 중급 크롤링 강의를 보시면서, selenium 으로도 가능합니다.

추가로 다음 새소식도 한번 양해를 부탁드리며, 참고부탁드립니다.

------------

안녕하세요. 잔재미코딩 Dave Lee 입니다.

오늘은 한가지 공지를 드려요~~

그동안 정말 다양하고 많은 분들께서 수강을 해주고 계시는데요. 그러다보니, 질문/답변 란에 동일한 이야기를 드릴 때가 많아서 공유를 드려요.

질문/답변 란에, 각자 원하시는 크롤링 코드 관련 문의를 해주시는 경우가 꽤 있었는데요. 그 때마다, 가급적 배려를 드리는 차원으로, 가볍게 볼 수 있는 부분에 대해서만 답변을 드리기는 했습니다. 하지만, 해당 질문/답변 란은 본 강의 영상과 관련한 질문이 있을 때를 답변해드리는 것이 기본 취지인 것 같아요. 

온라인 수학 강의를 수강하면서, 강의에 나온 수학공식을 사용하는 강의 외에 각자 풀고 있는 수학 문제를 질문하고, 이를 풀어드리는 강의는 본 적이 없는데요. 마찬가지로 본 강의를 수강하시면서, 각자의 코드나, 각자 원하시는 크롤링 코드를 작성해드리거나, 함께 풀어나가는 것은 현실적으로 큰 무리가 있습니다.

더군다나 본 강의가 평생 수강이 가능하기 때문에, 이를 지원해드릴 경우, 본 강의를 들으면 내가 원하는 크롤링 코드는 모두 해결해드려야 하는 오해 아닌 오해도 생길 수 있고요. 심지어, 저도 실제 코드를 작성해봐야 해서, 코드를 작성하느라 답변이 늦어지면, 다른 답변이 늦어질 수도 있어서, 다른 수강생분들께도 문제가 될 수 있을 것 같습니다.

그래서, 질문/답변란에 문의를 주실 때에는 각자의 원하시는 크롤링 코드 관련 문의는 안해주시면 감사하겠습니다. 이 부분 꼭 양해를 부탁드립니다.

또한 가능하다면,

0

major님의 프로필 이미지
major
질문자

2020. 10. 28. 22:38

설명감사합니다

major님의 프로필 이미지

작성한 질문수

질문하기