묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
[REST API] data의 교환방식 질문
- 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다)- 이외의 문의등은 평생강의이므로 양해를 부탁드립니다- 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.<동적 웹사이트와 크롤링> - REST API 안녕하세요. 강의 잘 듣고 있습니다.REST API라고 하는 것이 데이터를 주고 받는 방법인 것은 알겠는데요. 이것이 프론트엔드와 백엔드의 데이터를 주고받는 방식이라고 이해하는게 좀 어려워서 부가설명을 부탁드립니다. 회사를 기준으로 이해하다보니 더 와닿지 않습니다. 제가 가끔씩 보는 사내의 IT개발은 JSP로된 2000줄 정도 되는 코드에 어떤 데이터가 필요하면, 데이터를 뽑는 쿼리를 데이터 베이스 담당하시는분한테 묻고 그 해당 쿼리를 집어넣고??하는 방식으로 하는 것 같은데, 제가 집에서하는 템플릿 코드 작성방식과와 다르지 않다고 이해해오고 있는데요. 규모가 큰 회사에서는 OPEN API 설명서처럼 백엔드에서DATA를 전달하는 방식을 구현해 놓는건가요? 그리고 한가지만 더 질문을 드리면, 제가 Flask 강의도 듣고 있는데요. 사실 백엔드와 프론트엔드의 차이를 잘 느끼지 못했습니다. 하나의 템플릿에 데이터를 넣어주는 역할까지를 백엔드가 하고 단지 프론트는 그 템플릿을 예쁘게 하는 역할을 하는것인가요? 만약 그렇다면 템플릿 상속도 있고, HTML CODE도 계속해서 변하는데 구분없이 혼자하는게 더 수월하겠다는 생각이 들어서요. 어떤 식으로 역할을 분배하고 일하는지 궁금합니다.정말 좋은 강의 잘듣고 있습니다. 감사합니다!
-
미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
headless chrome 오류 문의
안녕하세요 headless chrome 오류 문의 드립니다.위 코드 실행 시..WebDriverException: Message: unknown error: Chrome failed to start: was killed. 오류문구가 뜨는데크롬 드라이버 이슈가 있는 걸까요???크롬, 크롬드라이버는 110버전으로 사용하고 있습니다.추가로 셀레니움은 잘됩니다!!
-
미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
Selenium 처리 속도 관련 문의드립니다.
연습1 모범 코드: id가 begin 인 데이터만 출력해보기 코드를 실행해보면,데이터 출력까지 꼬박 30초가 걸리네요..from selenium import webdriverfrom selenium.webdriver.common.keys import Keysimport timefrom selenium.webdriver.common.by import Byfrom selenium.webdriver.chrome.service import Servicefrom webdriver_manager.chrome import ChromeDriverManagerchromedriver = 'C:/dev_python/Webdriver/chromedriver.exe'driver = webdriver.Chrome(service=Service(chromedriver))driver.get("https://davelee-fun.github.io/blog/crawl_html_css.html")elems = driver.find_elements(By.ID, 'begin')for elem in elems : print(elem.text)driver.quit() 강사님 영상보면 늦어도 5초 이내에 실행되는 것 같은데 좀 답답한 마음에 문의 드립니다.data:, 화면에서 20초 가량을 멈춰있어요..구글링 해보니 브라우저와 드라이버 버전을 맞추면 실행이 빨라진다 해서, 몇 번 재설치를 해봐도 안되고 있네요..109.0.5414.25와 .74 모두 설치해봤으나 동일한 처리 속도이며,,Edge드라이버를 설치해서 불러와도 30초가 걸리네요.참고로 제가 사용하는 컴퓨터이며, 크롬에서 주소 입력시 1초 이내로 반응합니다. 강의 내용과는 조금 벗어날 수도 있는 부분인 것 같으나..현업이나 교육 중에 이런 현상을 보신 적이 있으실까 싶어서 여쭤보네요.강의는 정말 잘 듣고 있습니다.양질의 강의 찍어주셔서 정말 감사드려요!!^^
-
미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
scrapy shell 질문
- 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다)- 이외의 문의등은 평생강의이므로 양해를 부탁드립니다- 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. scrapy shell 강의 진행중 환경은 제대로 나옵니다. response.url 도 정상적으로 작동합니다. 그런데 css selector로 데이터를 가져오는 예시를 실행시키면 response에 저장된 모든 데이터들이 출력됩니다 <html>부터 </html>까지요 XPATH로 실행해도 마찬가지로 모든 데이터가 출력됩니다. 왜 그런지 모르겠네요 ㅠㅠ
-
미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
pip install scrapy 오류
안녕하세요, 강사님. 정말 좋은 강의 덕분에 크롤링 기술을 열심히 익히는 중입니다. 오늘 scrapy 강의를 듣기 위해 cmd에서 pip install scrapy를 실행하였고, (Window 사용중입니다) 정상적으로 설치된 것처럼 보여 다음단계로 넘어가려고 하였으나 지정된 모듈이 없다며 오류가 뜹니다. 모듈이 제대로 설치된 것 같지 않아 처음에는 pip uninstall 후 재설치 하였으나 같은 오류가 발생하였고, 강사님께서 언급해주신 세 가지 pip 설치 후에도 같은 오류 발생, 마찬가지로 Visual Studio도 설치하였으나 같은 오류가 발생하였습니다. 오류를 해결하기 위하여 검색하였더니 python이 두 개가 설치되어 있는 경우 같은 오류가 발생할 수 있다고 하여 anaconda를 포함하여 python과 관련된 모든 프로그램 삭제 후 재설치 하였으나 역시 같은 오류가 발생하였습니다. 어떻게 해결해야할까요? ------------------ 이 글을 쓰고 혹시나해서 과거에 설치했던 pycharm을 실행해서 pycharm에 내장된 terminal에 실행했더니 정상실행되는 것 같습니다. 같은 경로로 표시되는데..... pycharm terminal에서는 되는데 기존 window terminal에서는 왜 안되는 걸까요?
-
미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
오른쪽 마우스버튼이 안먹히는 사이트들은 크롤링이 불가능할까요?
안녕하세요~ 저는 인터넷 등기소를 크롤링하고 싶은 사람입니다. 이 사이트의 최대의 문제점은 오른쪽 마우스 클릭이 안되서 사이트의 태그 확인이 불가능하다는 점 입니다. 이러한 사이트들은 빠른 포기가 답일까요?
