인프런 커뮤니티 질문&답변
작성한 질문수
크롤링 실행시 멈춤
작성
·
418
쿠팡 크롤링을 진행하려고합니다 처음에 확인을 위해 실행 시켜보았는데 input으로 제품 검색하면 목록이 뜨는겁니다. 하지만 입력하면 저상태에서 그냥 멈춰있습니다. 다시 실행도 안되구요 디버깅만 됩니다. 터미널창을 다 지우고 해보아도 그대로입니다. 어떤 문제일까요 ? 
현재까지 쓴 코드이고 이것을 실행시키면 저 위와 같이 됩니다.답변 2
0
proxies가 두개 모두 http로 되어있네요. 한개는 https로 들어가야합니다. 한번 바꿔보세요.
그리고 코드를 이미지로 올리면 문제점을 찾기가 엄청 어렵습니다. 꼭 코드를 복사해서 올려주세요.
그리고 위 코드의 강의는 유튜브에만 있고 여기에는 없는 내용입니다. 질문은 유튜브 댓글로 올려주세요.
이 강의에 달리는 질문은 저에게 따로 알림이 오지 않습니다.
0
안녕하세요, 민지님. 크롤링 실행 중 멈춤 상황에 대해서 도움을 드릴 수 있도록 하겠습니다. 프로그램이 멈춰있는 상태에서 디버깅이 가능하다는 것은 어느 정도 원인을 파악하기 위한 단서를 제공할 수 있을 것입니다.
우선, 코드를 보고 현재 실행 중인 크롤링에 문제가 있는 것으로 보입니다. 다음과 같은 몇 가지 가능한 원인을 확인해 볼 수 있습니다.
웹 사이트의 응답 지연: 크롤링하는 사이트에서 응답이 느리거나 차단될 수 있습니다. 이 경우 코드를 실행할 때 추가적인 딜레이를 줘보는 것이 도움이 될 수 있습니다.
반복문에서의 오류: 코드에서 반복문이 사용되고 있는데, 특정 상황에서 반복문이 종료되지 않거나 무한 루프에 빠졌을 수 있습니다. 이 경우 반복문에서의 조건을 확인해보세요.
네트워크 연결 문제: 인터넷 연결 상태에 문제가 생길 수 있습니다. 네트워크 연결이 원활한지 확인하고, 파이썬 패키지나 라이브러리의 최신 버전을 사용하는지도 확인해주세요.
크롤링할 데이터의 크기: 크롤링할 데이터 양이 많아서 연산에 시간이 오래 걸릴 수 있습니다. 이 경우에는 코드를 최적화하거나 부분적으로 데이터를 가져오는 방법을 고려해볼 수 있습니다.
이 외에도 다양한 원인이 있을 수 있으므로, 완성된 코드와 함께 구체적인 에러 메시지 또는 실행 중인 환경(예: 사용하는 운영체계, 파이썬 버전 등)에 대한 정보를 제공해주시면 더 정확한 도움을 드릴 수 있을 것입니다.