셀레니움 추가 질문합니다.

파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기

웹 브라우저 없는 스크랩핑 및 파싱 실습(2) - 네이버 카페 자동화

작성

248

현재 Log-in이 필요한 웹사이트를 크롤링하고 있습니다.

제가 ID와 비번을 5개 정도 가지고 있는데요.

동일한 코드에 URL만 바꿔서 5개의 ID와 비번을 동시에 사용해서 크롤링을 하고 싶은데요 ㅠ

혹시 도움이 될 만한 패키지나 사이트 있으면 좀 추천부탁드려요.

python 웹-크롤링

답변 3

좋은사람

지식공유자

감사합니다. ㅠ.ㅠ

Seongmin Lee

질문자

선생님 감사합니다!

Multi-processing 등 여러가지 알아보다가 역시 선생님께서 알려주신 방법이 최고군요.

ㅠㅠ 깊게 가니 힘듭니다,,, 부디 저희들에게 올바른 길을 새로운 강의를 통해 인도해주싶시요 ㅠ

좋은사람

지식공유자

네 안녕하세요.
만약 제가 구현한다면 각각 5개 아이디에 대해서 py 파일을 5개 만들어서
스케쥴러를 활용해서 각각 시간차를 두고 실행하는 방법이 좀더 좋을 것 같습니다.
또는
1개의 파일에 작성한다면, 로그인 -> 크롤링 -> 로그아웃 후 다시 다른 아이디 로그인 ...
이런 패턴으로 가야할텐데 아시다시피 대형 포털사이트 등 보안이 잘되어 있는 사이트는
해당 작업에 대한 보안이 잘되어 있어 방지될 가능성이 있습니다. (주로 이미지 문자를 입력하는 화면 등장)
각각 셀레니움으로 브라우저 마다 header 값을 다르게 하셔서 5개의 파일로 윈도우나 맥 에 스케쥴러로
실행하는 것을 권장해 드립니다.
크롤링의 세계에 깊게 들어가시는 군요.
감사합니다.

인프런 커뮤니티 질문&답변

셀레니움 추가 질문합니다.