묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
3,4과목 파일도 요청드립니다~
1~2과목 교안 통합 파일은 받았습니다~3~4과목 파일도 요청드립니다!mj756987@gmail.com입니다. 감사합니다.
-
미해결스파크 머신러닝 완벽 가이드 - Part 1
TrainValidationSplit과 randomSplit 사용 질문
안녕하세요. 좋은 강의 감사합니다.TrainValidationSplit 수강 중 질문이 있습니다.TrainValidationSplit를 이용하여 학습과 검증 비율을 trainRatio 파라미터를 이용하여 나누게 되는데, TrainValidationSplit을 사용할 시 randomSplit은 사용할 필요가 없나요? 아니면 사용하는 경우가 있을까요? CrossValidator은 교차 검증 k fold 방식으로 알고 있는데, randomSplit에서 나눈 비율로 교차 검증을 진행하는 걸로 이해하면 될까요?예를 들면 randomSplit 0.8(학습) 0.2(검증) 으로 나누었다면, 해당 비율로 교차검증을 진행하는지 궁금합니다.마지막으로 현재 업무에서 스파크 스트리밍을 사용하고 있고 scala 기반으로 되어 있기 때문에 scala를 이용한 ml 도입을 고려하고 있습니다. 이때 강의에서 진행하는 pyspark과 비교하여 제공하지 않는 기능이라던지 고려해야 할 사항이 있을까요? 감사합니다!
-
미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
headless chrome 오류 문의
안녕하세요 headless chrome 오류 문의 드립니다.위 코드 실행 시..WebDriverException: Message: unknown error: Chrome failed to start: was killed. 오류문구가 뜨는데크롬 드라이버 이슈가 있는 걸까요???크롬, 크롬드라이버는 110버전으로 사용하고 있습니다.추가로 셀레니움은 잘됩니다!!
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 3~4
교안 통합파일 요청드립니다.
1~2과목 교안 통합 파일은 받았습니다~3~4과목 파일도 요청드립니다!mj756987@gmail.com입니다. 감사합니다.
-
미해결실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크
parquet read시 partition 개수
안녕하세요parquet을 read할때, 파티션 개수는 저장할때의 partition으로 고정될까요??parquet을 read 할때 partiton 1개당 size가 너무 커서, partiton 개수를 늘려서 read 하고 싶습니다. 혹시 방법이 있을까용? 감사합니다.
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
교재가 있나요?
안녕하세요.인강을 들어보니 교재를 언급하던데 교재가 따로 있는 건가요? 그리고 저도 통합자료 요청드립니다.mj756987@gmail.com
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
교재가 있나요?
안녕하세요! 강의교재가 따로 있나요~? 강의를 들어보니 교재를 언급하시는 것 같아서요그리고 저도 통합자료 보내주시면 감사하겠습니다. mj756987@gmail.com 입니다감사합니다
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
강의자료 부탁드립니다
안녕하세요!저도 통합자료 보내주시면 감사하겠습니다. parkyeonii74@gmail.com 입니다감사합니다
-
미해결실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크
대용량 데이터 Join
안녕하세요대용량 데이터 join 방법에 대해 질문드립니다.source A,B,C가 있고 A와 B를 union 하고 C를 조인해야 하는 상황입니다. A, B, C 각각은 모두 대용량 데이터입니다.하지만, 이 코드를 실행하면 spark 내부적으로 C를 2번 read해 A와 C를 조인하고, B와 C를 조인하는 DAG이 생성되는 것을 UI에서 확인했습니다. 이에, C를 1번만 read하게 만들기 위해서 cDF.persist(StorageLevel.DISK_ONLY)를 중간에 삽입해, 원래 의도대로 A와 B를 union하고 C를 조인하도록 DAG을 변경하였습니다. 이런 상황에서 persist를 사용하지 않고 해결할 방법이 있을까요?
-
해결됨ADsP 2주 합격 올인원 패스
최신 기출문제 문의
안녕하세요. 본 강의를 통해 ADsP 시험을 준비하고 있습니다. 강의와 문제풀이를 모두 진행한 상태인데요. 강의에서 기출문제로 2019년 문제를 정리해 주셨는데요. 추가로 최신 문제를 풀어봐야 할지, 아니면 유형이 비슷하므로 본 강의를 반복수강함으로 암기해야 할 내용에 집중하는 것이 나을지 여쭤봅니다. 감사합니다.안세원 드림
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
강의자료 부탁드립니다
강의자료 모두 부탁드립니다. educom02@naver.com 입니다 감사합니다
-
미해결데이터분석 준전문가(ADsP) 자격증 대비
분포의 치우침
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요. 집중화 경향 측정의 문제 해설 부분에서 "왼쪽으로 치우쳐진(=오른쪽으로 꼬리가 긴)" 이라는 표현에 대해 질문 드립니다.통계 관련 다른 강의에서 배울 때, 그리고 여타의 자료를 찾아보았을 때에는 흔히 오른쪽으로 꼬리가 긴 것을 "오른쪽으로 치우친 분포(e.g. 카이제곱분포)"라고 익혔는데 해당 문제에서는 "왼쪽으로 치우쳐진"이라고 표기되어 있어 어떠한 표현이 적절한 것인지 질문 드립니다. 감사합니다.
-
해결됨ADsP 2주 합격 올인원 패스
강의 자료를 받을 수 있는 방법이 있을가요?
영상을보며 ADsP 자격 공부를 시작하였는데요.영상에서 사용하시는 정리된 파일을 공유 받을 수 있는 방법이 있을가요?다시한번 양질의 컨텐츠를 제공주셔서 감사합니다.
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
강의자료 요청
안녕하세요, 다른 분들과 마찬가지로 강의자료를 요청드립니다.빅데이터 분석기사 필기 1~4 강의 모두 신청하였습니다.pjinyr@nate.com으로 강의자료 부탁드립니다.감사합니다.
-
미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
Selenium 처리 속도 관련 문의드립니다.
연습1 모범 코드: id가 begin 인 데이터만 출력해보기 코드를 실행해보면,데이터 출력까지 꼬박 30초가 걸리네요..from selenium import webdriverfrom selenium.webdriver.common.keys import Keysimport timefrom selenium.webdriver.common.by import Byfrom selenium.webdriver.chrome.service import Servicefrom webdriver_manager.chrome import ChromeDriverManagerchromedriver = 'C:/dev_python/Webdriver/chromedriver.exe'driver = webdriver.Chrome(service=Service(chromedriver))driver.get("https://davelee-fun.github.io/blog/crawl_html_css.html")elems = driver.find_elements(By.ID, 'begin')for elem in elems : print(elem.text)driver.quit() 강사님 영상보면 늦어도 5초 이내에 실행되는 것 같은데 좀 답답한 마음에 문의 드립니다.data:, 화면에서 20초 가량을 멈춰있어요..구글링 해보니 브라우저와 드라이버 버전을 맞추면 실행이 빨라진다 해서, 몇 번 재설치를 해봐도 안되고 있네요..109.0.5414.25와 .74 모두 설치해봤으나 동일한 처리 속도이며,,Edge드라이버를 설치해서 불러와도 30초가 걸리네요.참고로 제가 사용하는 컴퓨터이며, 크롬에서 주소 입력시 1초 이내로 반응합니다. 강의 내용과는 조금 벗어날 수도 있는 부분인 것 같으나..현업이나 교육 중에 이런 현상을 보신 적이 있으실까 싶어서 여쭤보네요.강의는 정말 잘 듣고 있습니다.양질의 강의 찍어주셔서 정말 감사드려요!!^^
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
강의자료
빅데이터 분석기사 필기 1~2와 3~4 강의를 모두 신청하였습니다.저도 강의 자료 한꺼번에 받고 싶습니다.minsungcap@naver.com으로 자료 부탁드립니다.감사합니다.
-
미해결15일간의 빅데이터 파일럿 프로젝트
실습하면서 문득 궁금해진점
안녕하세요.강의를 들으며 jar 프로그램(자바 기반 프로그램)들이 플럼에 의존되는것을 확인할 수 있었는데,이것을 파이썬 코드로 바꿔서 conf를 변경해도 동작이 되는걸까요?
-
미해결15일간의 빅데이터 파일럿 프로젝트
VT-x/AMD-V 하드웨어 가속을 사용할 수 없습니다.
가상머신을 돌리려는데 이런 오류가 뜹니다. "시스템에서 VT-x/AMD-V 하드웨어 가속을 사용할 수 없습니다. 64비트 게스트가 64비트 CPU를 인식할 수 없으며 부팅할 수 없을 것입니다." 혹시 해결하신분 계실까요?
-
미해결15일간의 빅데이터 파일럿 프로젝트
강의 수강 연장 부탁드립니다
강사님 안녕하세요,제가 대학원과 직장을 병행하다보니 강의를 신청해놓고 신경쓰지 못했습니다ㅠㅠ 연장해주신다면 꼭 완강하고싶습니다! 감사합니다, 새해복 많이받으세요!!!
-
미해결빅데이터분석기사 실기대비 (R 활용)
작업2유형 분류문제
안녕하세요, 이번 빅분기 4회 시험 응시한 수강생입니다. 본 강의 덕분에 기초를 잘 다지고 시험에 응시할 수 있었습니다. 감사합니다. 다만 매 시험마다 문제가 계속 업그레이드 되고 있는 것 같습니다. 이전 2~3회 기출문제 공부만으로는 비전공자들은 합격하지 못할 것 같습니다.. 저 역시 작업2유형에서 4가지로 분류하는 문제를 보고 많이 당황하여 시험 시간에 많이 헤맸네요ㅠㅠ 어찌저찌 rpart만으로 결과를 산출해서 제출했는데, 1 / 2 / 3 / 4 class중에서 2 class로는 분류되는 케이스가 하나도 없더라고요. 변수 몇 가지를 수작업으로 뺐다 더했다 해봤으나 안 되더라고요.. 작업2유형에서 전처리를 뭘 안 한건지. 혹시 표준화/정규화 같은 걸 하지 않아서 그런건지 모르겠네요. (분명 주어진 train 데이터에는 4개 class 모두에 케이스가 분포되어 있음) 무튼 다음 시험을 준비하기 위해서 이번 실기 4회 기출문제 풀이강의도 추가해주시면 좋겠습니다. 가능하시다면 출제 예상되는 범위를 좀더 넓힌 강의도 추가해주시면 계속 공부하는데 큰 도움이 될 것 같습니다(4개 class 분류, 날짜 데이터 처리 등). 감사합니다!