안녕하세요 강사님!먼저 좋은 강의 만들어주셔서 진심으로 감사드립니다. 다름이 아니라 궁금한 점이 있는데요,많은 사람들이 이야기하는 것이 hadoop과 스파크에 대한 비교인데요. 스파크의 인메모리 처리를 통한 속도 향상으로 인해 하둡을 넘어섰다(?) 이런 얘기가 많이 있는 것 같습니다. 그런데 본 강의에서는 스파크가 하이브와 비교되고 sql 언어를 맵리듀스로 처리하게 해주는 용도로 설명해주신 것으로 이해했습니다. 스파크는 하둡과 같은 데이터베이스가 아닌것인지 궁금합니다!

안녕하세요! 제 OS는 윈도우인데요, 강의 섹션 1을 듣다가 궁금한 점이 있어서 질문을 올리게 되었습니다.강의 소개에 [OS] 우분투 or 리눅스[머신사양]- Aws t2.medium 2 Core 4GB // ec2 free.tier 참석은 가능 - Virtualbox 이용하여 위 OS로 참석가능이라고 안내되어 있는데요, 섹션 1 Data Acquisition [Basic] Crawling and Scraping(Urlib, BS4, Selenuim)을 실습할때부터 virtualbox 설치 후 우분투 환경에서 실습해야되는건지 궁금합니다.즉, 강의(섹션 15개) 중에서 어떤 섹션부터 리눅스와 그 Virtualbox 가 필요한지 궁금합니다! 섹션 1의 이론강의를 본 후 실습영상을 보고 따라하려고 하는데, 이때 윈도우에서도 가능한건지 아니면 지금부터 virtualbox상에서 우분투로 진행해야 되는건지 궁금합니다.감사합니다!

안녕하세요 강사님 !좋은 강의를 꾸준하게 들어 성장하고 싶지만,항상 마음과 달리 쉽지가 않네요수강 신청하고 얼마 듣지도 못 했는데 벌써 기간이 얼마 남지 않아수강 기간을 연장을 요청드리고자 합니다.좋은 강의 감사드립니다 강사님 !

실습에서는 server01에 zookeeper 설치하고, server02에서 zookeeper-client 실행시 문제가 없는데 제환경에서는 Server01에 설치하여 server01에서만 클라이언트 실행되고, server02에서는 오류가 나는데요 정상일까요

서버를 계속 켜두고 싶어서 사용하지 않는 노트북에 2gb ubuntu desktop을 설치했는데, 강의를 진행하는데 문제 없을까요? 해당 노트북은 다른 용도로는 전혀 사용하지 않고, 강의내용은 다른 pc에서 Xshell과 크롬 데스크톱 화면 공유를 활용하면서 실행하려고 해요.

좋은 강의에 항상 신경써주셔서 감사합니다미처 수강하지 못한 부분이 있어서 수강을 하고자 합니다너무 좋은 강의에 감사드리며 요청드립니다

안녕하세요! "5. 빅데이터 클러스터 구성 4 - putty로 서버환경 접속"을 수강중에 있습니다.putty server01 login : root는 입력되는데,password가 쳐지지 않고 조금 있으면 접속이 끊긴다는 오류 메세지가 출력됩니다."Remote side unexpectedly closed network connection"어떻게 조치해야 하나요?

설치중 해당 오류가 발생합니다.어떤게 원인일까요? 전에 꺼놨던 서비가 원인일까 전부 재기동해봤지만 동일하네요...

만약 그렇다면 켜서 설치되어 있는 것들과 강의를 보면서 설정값들을 확인해 보고 싶은데 어떻게 하는지 모르습니다. 공식문서도 어딜 봐야 할 지 모르겠어서요.파일럿 프로젝트 진행하는 데에는 아무 문제가 없다는 걸 알지만 그래도 하나씩 짚어보고 싶어요.

영상처럼 호스트 이름을 입력하면 아래에 체크박스가 체크할수 없게 되어있고 그전 영상처럼 현재 관리되는 호스트를 클릭하면 JDK나 SSH 로그인 정보를 제공합니다. 라는 구간이 스킵이 되는데 현재 관리되는 호스트로 진행해도 아무 문제 없을까요?

저사양 자료를 받아서 Cluster 1 구성을 하다가 지우고 고사양 자료를 받아서 Cloudera의 클러스터를 구성하려고 보니 이미 Cluster 1이 존재한다고 해서 server01.hadoop.com/cmf 에 접속해 봤더니 컴포넌트들까지 Cluster 1이른 이름으로 모두 설치되어 있는 것처럼 보입니다.고사양 자료를 받은 경우 어디서부터 제가 직접 수업을 들으며 따라 해야 할 지 모르겠습니다.

[4. VM 통합 환경 구성]에서 헤매고 있습니다.Windows11에서 보안 상의 이유로 VirtualBox 5.x 버전을 설치할 수 없다고 하여 6.1 버전을 설치하여 사용하고 있습니다.다음은 Server01, Server02의 설정값입니다.네트워크 어댑터1 NAT 네트워크 (강의와 같은 NatNetwork 10.0.2.0/24)네트워크 어댑터2 호스트 전용 어댑터 (6.1버전이라서 [파일-호스트 네트워크 관리자]에서 강의와 같이 설정)

안녕하세요~선생님,마지막 수업 "3.텐서플로를 이용한 신경망 분석 - 스마트카 이상징후 판별 4" 에서 다음과 같은 크롬에서 API호출 에러가 발생합니다.Anaconda prompt에는 정상적으로 실행이 되는데 API호출 변수에 이상이 있는 것 같습니다.API호출 함수를 아래와 같이 두 가지로 해보았으나 같은 에러가 발생합니다.(1)127.0.0.1:9001/smartcar/predict?wea=2&temp=0&hum=1&arrOthCar=2&time=0&acciArea=1&drvCond=1&innCond=2&carSpd=2&steeAng=0(2)127.0.0.1:9001/smartcar/predict?wea=2&temp=0&hum=1&arrCar=2&timeSlot=0&acciArea=1&drvCond=1&innCond=2&carSpd=2&steeAng=0감사합니다~

filezilla 전송 부분에서 오류가 뜹니다.예제소스에 읽기 전용 계속 해제해도 노트북에서 제한하는 것 같습니다.읽기 전용 해제 하면 체크표시는 해제되나 - 표시로 계속 남아 있어요 여기 속성 통해서 모든 권한 허용으로 변경했는데 아직 동일한 오류 뜹니다 ㅠㅠ

 virtual box 6.1.0 버전을 사용하고 있습니다.강의에 사용하신 버전은 제 노트북에서 오류가 뜨고 원래는 조금 더 높은 버전이었으나 가상 server01, 02 추가 자체가 되지 않아 해당 버전으로 다시 설치했었습니다. 참고로, Fasoo DRM 이 다운되어 있지 않고CPU VT 활성화를 해야하나해서 확인해봤더니 제 노트북이 삼성인데 BIOS에서 해당 설정값 변경이 불가능하게 되있습니다. 어떻게 오류 고치면 될까요ㅜㅜ확장팩 설치로도 오류가 안고쳐졌습니다...

안녕하세요~ 대학교 한 학기처럼 탄탄하게 빅데이터 파이프라인 관련해서 차근차근 다뤄주시니 도움이 되고 있습니다. Spark Advanced 과정에서 Spark를 자세히 다루면서 학습하고 있습니다 혹시 과제가 있던데? 데이터를 Data Storage에서 배운 HDFS 위에 적재하고 Spark를 돌리면 너무 좋을 것 같은데 혹시 이 부분에 대해서도 가이드 해주시나요?감사합니다.

강의에서는 호환문제때문에 5.0 설치하라고 하셨는데제 노트북에서 설치 후 실행 자체가 되지 않아virtualbox 6.1.44를 다운받았습니다. 근데 네트워크 설정에서 호스트 전용 네트워크 칸이 뜨지 않아서요.어떻게 들어가서 설정해야할까요?저장

안녕하세요!강의 수강하면서 HDFS 명령어를 구글링하면서 만져보고 있는데요, 강의 실습에서 hdfs-site.xml에서 replication을 1로 설정해서, hdfs setrep 명령어를 사용해 replication configuration 3으로 변경을 시도했다가 잘 되지 않아서 질문드립니다.w 옵션 없이 setrep 3 / 명령어 입력 시에,./bin/hdfs dfs -stat "%b %F %g %n %o %r %u %y %Y" {파일 경로}결과 %r = 3으로 변경이 되는데./bin/hdfs fsck / -files -blocks결과를 확인해보면, Default replication factor가 여전히 1로 나옵니다.Default replication factor를 변경할 수 있는 방법 질문드립니다. 또 기다려도 hdfs에 올린 파일들이 자동으로 복제가 되지 않고 개수가 계속 1이라(fsck 명령어로 상태 확인 시에 missing replicas 확인됨), 강제로 setrep에 w옵션을 사용해서 기다려봤는데, 계속 복제본을 만들지 않는 결과를 확인했습니다.이게 Pseudo Distributed Operation 모드에서 동작을 시켜서 발생시키는 결과인지, 아니면 어떤 부분이 문제일지 질문드립니다.감사합니다.

안녕하세요, 선생님. 이 글의 제목에 관련된 질문을 드리고 싶습니다.저는 코딩을 할 때 주로 Windows 환경에서 해왔고 그래선지 Python code를 실행시킬 때 script 실행을 하는 경험이 없었고 함수 지향 프로그래밍을 하면서 네임 내장 함수를 써가며 script 실행 시 argument를 사용하게 끔 코딩해본 적이 없습니다.본 강의에서 앞선 수업 때 이런 내용에 대해 다뤄주신 적이 있다면 모르겠지만, 그게 아니다보니 선생님께서 이 수업에서 내주신 숙제가 조금 overtraining처럼 느껴집니다. 관련 자료를 뒤져가며 공부하는게 도움이 될 수도 있겠지만 사정이 있어서 빠르게 본 강의를 마스터하고 싶은 마음이 큽니다. 선생님께서 답안을 주시면 그것가지고 공부를 하고 싶습니다. 허락해주신다면요.. 감사합니다. 

VM Name: Server01Failed to open/create the internal network 'HostInterfaceNetworking-VirtualBox Host-Only Ethernet Adapter' (VERR_INTNET_FLT_IF_NOT_FOUND).Failed to attach the network LUN (VERR_INTNET_FLT_IF_NOT_FOUND).Result Code:E_FAIL (0X80004005)Component:ConsoleWrapInterface:IConsole {6ac83d89-6ee7-4e33-8ae6-b257b2e81be8}  이런 오류가 뜨는데 어떻게 해결하면 좋을까요?? 구글링 해보니 host-only-ethernet을 새로만들고 다시 해보라고 하던데 그 방법도 되지 않습니다.Virtualbox 버전은 7.0.8 최신버전입니다.