인프런 커뮤니티 질문&답변

SOO MIN CHOI님의 프로필 이미지

작성한 질문수

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

실전 크롤링: 브라우저를 제어해서 다양한 데이터 가져오기

실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문

21.09.15 16:07 작성

·

176

0

안녕하세요. 선생님
 
선생님 강의를 따라하며 정말 잘 듣고 있습니다.
실전 크롤링의 트위터 사이트 로그인 강의를 따라하다 질문이 있어서 이 곳에 글을 올립니다.
 
선생님께서 강의를 만드셨을 때의 트위터 사이트와 현재의 트위터 사이트가 다르게 바뀌었습니다.
 
선생님께서 올려주신 새소식의 공지사항을 읽어보고 로그인 및 크롤링을 다시 시도를 해보았지만 잘 되지 않았습니다.

선생님께서 가르쳐 주신 방법으로 driver.find_element_by_name 으로 "username"과 "password"를 입력하려고 시도하였지만 이것도 잘 되지 않아 어떻게 해결 할 수 있을지 모르겠어서 질문을 드립니다.

답변 1

1

잔재미코딩 DaveLee님의 프로필 이미지

2021. 09. 18. 10:47

안녕하세요. 우선은 알려주셔서 감사합니다. 

저도 수시로 확인해보기도 하지만, 아무래도 초기에 강의를 만들때, 실제로 도움이 되실까 해서, 가장 다양한 실전 사이트들을 크롤링해보다보니, 여러 실전 사이트에서 이슈가 있었습니다.

기존에는 실전 사이트 예제는 사이트가 수시로 바뀜에 따라, 변경된 사이트에서도 동작하는 코드를 별도로 새소식에 공유드렸고, 트위터 사이트도 마찬가지로 공유드렸었습니다.

다만, 이번에는 아예 개인 ID 로 로그인할 수 있는 관련 메뉴가 없어져서, 동작할 여지가 아예 없어져서, 부득이 관련 영상 부분은 삭제하였습니다.

추가로 로그인을 자동으로 하도록 허용하는 것은 아무래도 보안적 이슈가 크기 때문에, 로그인이 필요한 좋은 사이트들은 수시로 사이트를 변경하고, 로그인 메뉴의 보안을 강화하는 것이 일반적입니다. 따라서, 계속해서 자동으로 로그인이 가능할만한 사이트를 추가로 찾기에는 무리가 있는 것 같습니다.

사실 그렇다하더라도, 다양한 기법을 보여드린다는 차원에서 참고가 될 수 있을 것 같아서, 강사로써의 아쉬움은 있지만, 어찌되었건, 코드가 정상동작해야, 보다 많은 수강생분들께서, 아쉬움없이 들으실 수가 있어서, 이 부분은 양해를 부탁드립니다.

 

 

SOO MIN CHOI님의 프로필 이미지
SOO MIN CHOI
질문자

2021. 09. 19. 06:59

선생님 안녕하세요.
선생님 강의를 보고 도움을 많이 받고 있습니다. 감사합니다.
답변을 해주셔서 감사합니다. 

선생님의 노고가 많이 느껴졌습니다.

다만 선생님의 의도하신 대로 다양한 기법을 볼 수 있어서 정말 많이 참고가 되는 영상이였습니다. 혹시 괜찮으시다면 비록 정상작동은 되지 않더라도 영상을 다시 볼 수 있는 기회를 주시면 안될까요?