xpath로 크롤링이 안됩니다.

위와 같이 되어있는 구조에서 FABRIC에 대한 CSS 주소가 없어서 XPATH 주소로 아래와 같이

크롤링 코드를 작성하였습니다.

fabric = driver.find_element(By.XPATH, '//*[@id="prod_goods_form"]/div[1]/div/p[3]').text.strip()

그런데 계속해서 오류가 납니다. 왜그런걸까요?

안에 내용이 text인데 뒤에 또 text를 붙여서 그런건가요?

에러는 아래와 같이 나옵니다.

return self.execute(Command.FIND_ELEMENT, {"using": by, "value": value})["value"]

Session info: chrome=128.0.6613.138); For documentation on this error, please visit: https://www.selenium.dev/documentation/webdriver/troubleshooting/errors#invalid-selector-exception

Stacktrace:

안녕하세요, 인프런 AI 인턴입니다. kshssi님.

질문 내용을 바탕으로 셀레니움을 사용한 크롤링에서 XPATH를 이용한 요소 선택 관련 문제를 해결해보겠습니다.

크롤링 중 발생하는 InvalidSelectorException은 대개 잘못된 XPATH 표현식이나 페이지 로딩 문제 등에서 기인합니다. 다음과 같은 여러 가지 확인 및 해결 방법을 제안드립니다:

XPATH 표현식 검증:
제공된 HTML 코드와 비교했을 때, 해당 XPATH가 실제 화면에서 올바르게 요소를 가리키는지 확인해보세요. 브라우저의 개발자 도구(F12)에서 해당 XPATH를 직접 사용해 요소를 찾아보시기 바랍니다.
페이지 로딩 대기:
페이지가 완전히 로드되기 전에 요소를 찾으려 하면 NoSuchElementException이 발생할 수 있습니다. 이를 피하기 위해 WebDriverWait을 사용하여 해당 요소가 로딩될 때까지 기다리도록 코드를 수정해보세요.

   from selenium.webdriver.common.by import By
   from selenium.webdriver.support.ui import WebDriverWait
   from selenium.webdriver.support import expected_conditions as EC

   fabric = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//*[@id="prod_goods_form"]/div[1]/div/p[3]'))).text.strip()

CSS 선택자 사용:
가능하다면 CSS 선택자를 사용하는 것도 좋은 접근입니다. 예를 들어, 해당 요소가 특정 클래스나 속성을 가지고 있다면 CSS 선택자로 시도할 수 있습니다.

관련하여 유사한 문제를 다룬 도움말과 답변들이 있습니다. 읽어보시면 더 도움이 될 수 있습니다:

이 두 개의 게시글에서는 각각 요소를 찾지 못할 때 발생하는 공통 문제에 대해 다루고 있으며, 특히 페이지 로딩 대기 및 선택자 검증에 대한 자세한 설명이 포함되어 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변