Thumbnail
BEST
데이터 사이언스데이터 엔지니어링

15일간의 빅데이터 파일럿 프로젝트대시보드

(4.9)
101개의 수강평 ∙ 1,091명의 수강생
132,000원

월 26,400원

5개월 할부 시
지식공유자: Big.D
총 128개 수업 (22시간 48분)
수강기한: 
12개월
수료증: 발급
난이도: 
입문
-
초급
-
중급이상
지식공유자 답변이 제공되는 강의입니다
폴더에 추가공유
  • ultimatedata555 프로필ultimatedata555
    2024-08-141353903

    강의보면 오픈소스 임팔라도 설치해서 사용해볼 수 있나요?

    Big.D
    Big.D
    Big.D
    2024-08-16360892

    안녕하세요! 빅디 입니다. 네~ 설치는 하게됩니다. 다만 임팔라의 설치 및 환경구성은 CM(Cloudera manager)에 의한 자동 설치입니다. Impalad 분산노드 아키텍처를 직접 셋업하는 과정은, 파일럿 프로젝트에서 다루지는 않습니다~ ^^* 대신 CM을 통해 임팔라를 빠르게 구성해보고, 다양한 하둡 에코시스템들과의 의존성과 활용법등을 배우게 됩니다. - 빅디 드림

  • JE 프로필JE
    2024-07-131320439

    안녕하세요. 맥 m2를 사용중인데 강의 실습 가능할까요? 그리고 강의가 최신버전인지도 궁금합니다

    Big.D
    Big.D
    Big.D
    2024-07-14353607

    안녕하세요! "Jieun Oh"님! 아직까지 맥 m1, m2에선 VirtualBox 지원이 불안정한 것으로 확인되고 있습니다. TT 강의는 파일럿 프로젝트 실습 환경에 문제가 없는지 주기적으로 체크하고 있습니다. ^^ - 빅디 드림

  • cmyk 프로필cmyk
    2024-05-131265024

    빅디님!안녕하세요!! 업무에 필요해서 강의 신청했었는데 바빠서 필요한 부분들만 조금씩 듣다가 다 듣지 못한 상태에서 강의가 만료 되었어요!!ㅠㅠ 처음에 신청할때 수강기한 제한이 있다는걸 미처 인지하지 못하고 인프런의 다른 강의들처럼 기간 무제한으로 들을수 있을줄 알았는데 업무에 필요한 부분 다시 들으려 확인해보니 강의 만료가 떠있네요! 강의 범위도 넓고 직접 다뤄볼것도 많아서 필요한 부분들 골라 우선 듣고 있었는데 미처 제한기간을 모르고 있었네요ㅠ 죄송하지만 강의기간 연장처리 해주시면 열심히 공부해서 다 완강하겠습니다ㅠㅠ 실무에 도움되는 알찬강의 정말 감사드려요!! 꼭 부탁드리겠습니다! ---- 빅디님 수강 연장해주셔서 감사합니다! 이번에 열심히 마저 잘 들어서 완강하겠습니다 :)!!!

    Big.D
    Big.D
    Big.D
    2024-05-13339686

    안녕하세요! "cmyk"님! 수강기간 연장 하였습니다! 화이팅 하셔서 꼭! 완강해주세요~ ^^ -빅디 드림

  • eunhye.ko 프로필eunhye.ko
    2024-05-131264660

    빅디님, 빅데이터 강의가 입문자 용으로 잘 설계된 것 같아요. 혼자 듣기에 아쉽고 다른 친구들도 들었으면 해서 혹시 빅데이터 강의 저희 회사에 오프라인 특강으로도 진행 가능하신가요? :)

    Big.D
    Big.D
    Big.D
    2024-05-13339693

    안녕하세요! "eunhye.ko" 님! 본 강의를 잘 봐주셔서 감사합니다. ^^* 관련해 아래 메일로 연락 주세요~ -빅디 드림 cf.kangwon@gmail.com

  • 파나케아 프로필파나케아
    2024-04-241249111

    수강 시 강의안은 따로 없고 교재 pdf 보면 되는건가용?

    Big.D
    Big.D
    Big.D
    2024-04-24335310

    파나케아님! 네~ 맞습니다! ^^ - 빅디 드림

  • 파나케아 프로필파나케아
    2024-04-231248246

    수강 시 교재 자료도 받아 볼 수 있나요?

    Big.D
    Big.D
    Big.D
    2024-04-23335094

    안녕하세요! 파나케이님! 강의중 사용되는 교재는 PDF파일로 제공됩니다~ -빅디 드림

  • Jake 프로필Jake
    2023-12-111097784

    강의가 만들어진게 2017년이면 6년 전인데 최신기술을 배우기에는 너무 오래된 내용이 아닌지 문의를 드립니다. 아직 빅데이터처리나 AI 등에 대한 개념이 부족하지만 해당 강의를 통해서 기본을 이해하고 싶습니다.

    Big.D
    Big.D
    Big.D
    2023-12-11301916

    안녕하세요! Jake님! 강의가 개설된건 2021년 3월 입니다. ^^ 책이 17년도에 1판, 20년도에 2판이 출간이 되었습니다~ Jake님이 생각 하신것처럼 빅데이터/인공지능 등 관련 기술들은 매우 빠르게 변하고는 있습니다. 하지만 주요 제반기술과 아키텍처엔 큰 변화는 없고요.. 특정 영역의 소프트웨어와 기능들이 빨리 업그레이드 되고, 발표 되고 있는 상황입니다. 빅데이터 및 AI의 모든 기술과 기능들을 전부 쫓아가는 것은 불가능 합니다. 대신 본 강의에서는 파일럿 프로젝트를 통해 핵심 기능과 기술들을 직접 경험해 보면서, 빅데이터 미니 프로젝트를 처음부터 끝까지 완성해 보는 실습 위주의 강의 입니다. 이 경험을 통해 수강생분들의 상황에 맞는 전문 영역에 좀더 집중 하게 하는 강의로 기획 되어 있습니다. 파일럿 프로젝트에서만 사용하는 대표 S/W만 20개가 넘기 때문에 초반엔 많이 어렵게 느껴질 수 도 있습니다. 과정에 있어서 많은 실수와 문제들이 실제 프로젝트 만큼 발생 하기도 하고, 해결해 나가는 방법도 배우는 강의 입니다. 얘기가 길어 졌네요...^^; 강의가 개설된건 2021년 3월이고 2년이 좀 지났지만.. 단순히 기술뿐 아니라 빅데이터의 큰 숲을 보게 하는 강의라 생각하시면 될 것 같습니다. -빅디 드림

  • 0128ja 프로필0128ja
    2023-10-191052132

    안녕하세요! 저도 맥북 유저입니다 ㅠㅠ VirtualBox 대신 aws 인스턴스를 이용해 구축한 redhat linux(centos 7) 서버 환경에서는 실습이 불가능할지요?

    Big.D
    Big.D
    Big.D
    2023-10-19290867

    안녕하세요! "0128ja"님! aws에서 파일럿 환경을 만들려면, 초기 셋업이 강의 내용과 매우 다르기 때문에 진행이 어렵습니다. TT 그래서 PC에서 빅데이터 파일럿 환경과 기술을 익히고, 이를 클라우드 환경에서 적용해 보는 분들도 왕왕 있습니다. 현재 클라우드 환경에서 빅데이터 기술의 책과 강의도 준비중에 있는데요..이제 시작 단계라 시간이좀 걸릴것 같습니다. ^^;; 쌀쌀해 지는 날씨에 감기 조심하세요~ -빅디 드림

  • JE 프로필JE
    2023-09-251026650

    맥북 m2 에어를 사용하는데 실습이 가능할까요?

    Big.D
    Big.D
    Big.D
    2023-09-25286610

    안녕하세요! "Jieun Oh"님! 아직은 m1, m2를 위한 VirtualBox가 베타버젼으로 안정화 되지 않은것으로 확인 됩니다. 아쉽지만 m2환경에서의 실습은 좀더 시간이 있어야 할 것 같네요..TT 즐거운 추석 보내세요~ -빅디 드림

  • 눈물이많아요 프로필눈물이많아요
    2023-08-28993988

    강사님 수강 전 질문이 있습니다. 1) 스마트 카 로그 시뮬레이터는 강사님께서 직접 만드신 Dummy Data 생성기라고 이해하면 될까요? 2) 프로젝트가 완료 된 후, 수강자가 해당 프로젝트를 확장할 수 있는 건덕지가 많을까요?

    Big.D
    Big.D
    Big.D
    2023-08-29282300

    안녕하세요! "눈물이많아요"님! 닉네임이 독특 하시네요...^^ 아래 답변 드립니다~ 1) 스마트 카 로그 시뮬레이터는 강사님께서 직접 만드신 Dummy Data 생성기라고 이해하면 될까요? -> 네~ 맞습니다. 스마트카의 상태정보와 운전 데이터를 배치/실시간으로 생성하는 시뮬레이터 입니다. 2) 프로젝트가 완료 된 후, 수강자가 해당 프로젝트를 확장할 수 있는 건덕지가 많을까요? -> 건덕지는, 당연히 많습니다. ^^;; 파일럿 프로젝트 형식으로 다양한 기술요소와 역할들을 직접 경험해 보기 때문인데요.. 아래 URL을 책과 강의에서 미쳐 다루지 못했던 내용들을 별도의 유투브 강의로 만들어 올려 놓은 확장하기 입니다. https://bit.ly/bigdata2nd 확장은 파일럿 프로젝트를 완료 후, 본인의 경험과 역량에 따라 다양하게 시도해 보실 수 있을겁니다. - 빅디 드림

  • minsubrother 프로필minsubrother
    2023-08-15977839

    강의에서 실시간데이터를 활용하는데, 제가 따로 python으로 실시간 API를 활용해서 API호출시, 데이터를 가져오도록 구성했는데, 가능한 부분일까요? 실시간 데이터를 구하기가 너무 어려워서... 찾아봐도 api를 통한 호출방법밖에는 없네요.. 다만 airflow를 활용해서 30분단위로 해당 url를 통해 데이터를 받아와서 mysql에 적재하고 있는데, 이러면 "실시간"이라는 데이터의 취지에 어긋나는거겠죠..? 취준생이다보니, 프로젝트는 필요한데, 무엇부터 발판을 삼아야할지 막막하네요

    Big.D
    Big.D
    Big.D
    2023-08-15279548

    네~ minsubrother님! 실시간 처리는 데이터의 발생량과 빈도, 업무요건과 아키텍처 상황에 따라 매우 다양하게 정의됩니다. 이건 다시말해 정답이 없다는 얘기 입니다. ^^ Airflow의 워크플로우로 파이프라인을 만들고, 배치 실행의 주기를 아주 짧게 해서 처리할 수 있으면.. 이또한 실시간 이라 할 수 있습니다. 그리고 minsubrother님께서 만드신 환경이 실시간이냐 아니냐가 중요해 보이진 않습니다. 말씀하신 구성만으로도 취업에 부족함이 없는 포트폴리오로 보입니다~ ^^ 참고로 강의에선 스마트카의 실시간의 상황을 극대화 하기위해 자체적인 시뮬레이터를 이용합니다. 이 시뮬레이터가 초당 수백건의 데이터를 발생하고, 이를 수집>처리>분석 하는 과정을 구성하며 배우게 됩니다. -빅디 드림

  • minsubrother 프로필minsubrother
    2023-08-14976700

    안녕하세요. 결제 전에 문의할 사항이 있어서 작성하게 되었습니다. 듀얼부팅으로 윈도우즈, 우분투 20.04 버전이 설치되어있습니다. 우분투 20.04의 경우 가용 가능한 ssd용량이 약 780gb 정도 됩니다. cent os를 설치하는 것으로 되어있던데, 우분투와 비교해서 커맨드 명령어가 달라질까요..?

    Big.D
    Big.D
    Big.D
    2023-08-14279374

    안녕하세요! minsubrother님! 궁금해 하시는 강의 환경을 좀더 설명 드리자면, 다음과 같습니다. 강의 시작전 오라클 버츄얼박스용 가상 이미지로, VM 서버 2개를 제공 드리는데요, 이때 VM서버엔 CentOS 6.x가 이미 설치 및 구성된 상태입니다. 해당 이미지를 오라클 버츄얼박스에 로드만 하시면 되고요~ 강의가 CentOS를 배우는 과정이 아니기 때문에, 간단한 리눅스 명령만 일부 사용하게 됩니다. SSD 용량은 아~주 넉넉해서 좋네요!!! 더 궁금하신 사항 있으시면 질문 남겨주세요~ -빅디 드림

  • 안녕요오 프로필안녕요오
    2023-07-20949385

    선생님 정말 정말 감사드립니다. 은혜 잊지 않고, 열심히 배우겠습니다 :) 🧐👨‍👩‍👧‍👧 🌸

    Big.D
    Big.D
    Big.D
    2023-07-21274184

    안녕하세요! 빅디 입니다. 강의 분량이 많다보니 다소 높은 가격이 책정 되게 되었습니다. 문의 하신 내용에 대해선 할인 및 가격 정책을 인프런 운영팀에서 관리하고 있어서 제가 직접 지원해 드릴 수 있는 방법이 당장은 없지만, 대신 어떻게든 도움을 드리고 싶은데... 이렇게 하면 어떨까요?! 제가 드린 이 답변 내용과 함께 인프런 운영팀에 관련 내용을 문의를 해주시면, 방법을 찾아 보도록 하겠습니다. 꼭! 인프런 운영팀에 문의해봐 주세요~ -빅디 드림

  • eunju_24183 프로필eunju_24183
    2023-07-07932385

    안녕하세요! 강의 구매 전 궁금한 것이 있어 문의드리게 되었습니다. 강의 소개에 보면 2대의 가상 서버를 제공한다고 쓰여있는데요, 가상 서버에 URL을 통한 접속인지 궁금합니다! 강의를 들으며 실습을 회사 PC로 진행할 예정인데, 회사 보안으로 인하여 가상 서버에 접속할 수 있을지 걱정이 됩니다. 감사합니다. :)

    Big.D
    Big.D
    Big.D
    2023-07-07271115

    안녕하세요! eunju_24183님~ 가상서버 이미지를 다운로드 받아서, 실습 PC 버츄얼박스 프로그램에서 다운받은 가상서버 이미지를 실행 하는 구조입니다. 이후 실습PC내의 접속 프로그램(Chrome, Putty 등)으로 PC내에 설치한 가상서버의 접속을 하는데, 로컬 URL이 사용되기는 합니다. 아시다시피 회사의 보안 정책에따라 가성머신에 대한 사용과 로컬 네트워크 사용을 차단하는 경우가 왕왕 있으니, 확인해 보시고 진행 하시는게 좋을것 같습니다. -빅디 드림

  • jhoonpaik 프로필jhoonpaik
    2023-05-31889616

    안녕하세요. 강의 구매 전 문의드릴게 있어서 이렇게 글을 남겼습니다. 현재 노트북이 Mac m1이기 때문에 로컬에서는 Virtual box가 작동하지 않습니다. 대신 회사 서버에 centos 설치하고 virtualbox에서 리눅스 설치한 뒤, 하둡환경 셋팅 및 cloudera 설치한 상태입니다. 그러므로 서버에서 프로젝트를 진행하려고 하는데 이 경우, 강의 프로젝트를 진행하는데 문제가 없는지 궁금합니다. 특히, 스마트카 로그시뮬레이터를 다운받아 작동시키는데 이상이 없는지 궁금합니다.

    Big.D
    Big.D
    Big.D
    2023-05-31263408

    안녕하세요! "gk11123"님! 강의에서 제공드린 VM 이미지를 이용하지 않고...직접 환경 셋업을 하셨다는 얘기신지죠?! 만약 그렇다면 강의에서 제공드린 환경과 상이한 것들이 있어, 좀더 환경구성에 있어 신경을 쓰셔야 할 것들이 많습니다. 예를들어 Java 버젼으로 인한 SW들의 의존성 문제가 대표적 입니다. (참고로 파일럿 프로젝트 Java 1.8x 환경에 최적화 되어 있습니다.) 만약 강의에서 제공드린 VM Server01/02를, 설치하신 VirtualBox에 임포트해 사용 하신다면.. 파일럿 프로젝트 진행에 전~혀 문제 없습니다!!! 아마도 회사 서버 컴퓨팅 파워가 빵빵해서, 좀더 쾌적하게 파일럿을 진행 하실 수 있을 겁니다. ^^ 참고로 스마트카 로그시뮬레이터는 위 두경우와 상관없이 Java 1.8 이상 환경이면 잘 잘동합니다~ -빅디 드림

  • egs41 프로필egs41
    2023-04-03834919

    안녕하세요 빅디 님, 저는 빅디님이 집필하신 '실무로 배우는 빅데이터 기술 개정2판' 을 구매하여 학습하고 있습니다. insert overwrite directory '/home/pilot-pjt/mahout-data/recommendation/input' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select hash(car_number ), hash(item), score from managed_smartcar_item_buylist_info 요 hiveQL 실행 시 0%에서 진전이 전혀 없습니다. 이래 해보고 저래 해봐도 안되어서 시간만 보내고 있기에 hash 처리가 완료된 000000_0 파일 송부 부탁드립니다 ㅠ 제 이메일 주소는 egs41@naver.com 입니다~!

    Big.D
    Big.D
    Big.D
    2023-04-04252612

    안녕하세요! 빅디 입니다. 요청하신 파일은 금일중 메일로 보내 드리겠습니다~ -빅디 드림

  • 앵콜요청금지 프로필앵콜요청금지
    2023-03-08808064

    안녕하세요 팀 프로젝트로 빅데이터 활용을 생각하고 있는데 집필하신 '실무로 배우는 빅데이터 기술'로 충분할까요? 동영상강의와의 차이가 궁금합니다. 인프런 강의 미리보기에서 80%기반으로 한다고 하셔서 고민되서 질문드려요

    Big.D
    Big.D
    Big.D
    2023-03-09247296

    안녕하세요! 빅디 입니다. 동영상 강의에선 책의 내용을 좀더 쉽게 설명하고, 책에서 미쳐 다루지 못했던 내용들을 보완 했습니다. 오픈소스 기반의 다양한 패키지들을 설치하고 사용하는데 익숙치 않다면, 책의 내용이 좀 어려울 수 있습니다. 그래도 우선 책으로 한번 도전해보시고요..진행이 어렵다면 동영상 강의를 추천 드립니다. ^^ -빅디 드림

  • egs41 프로필egs41
    2023-02-16786130

    안녕하세요 빅디 님, 저는 빅디님이 집필하신 '실무로 배우는 빅데이터 기술 개정2판' 을 구매하여 학습하고 있습니다. 60일 제한이 있는 cm7로 해보고 있는데요. hbase 테이블 생성하는 부분까지 진도를 나갔는데 hbase에 적재가 안되는 부분을 해결하지 못하여 cm6을 vm으로 말아놓으신 이미지를 받고 싶습니다. (고사양용 3VM) 도서 구매자에게도 VM 제공해주시면 정말 감사하겠습니다 ㅜㅜ

    Big.D
    Big.D
    Big.D
    2023-02-16242718

    안녕하세요! egs41님! 책에선 2VM을 구글 드라이브를 통해 제공 드리고 있는데요... 3VM의 경우 구글 드라이브 용량 문제로 올려 놓지 못하고 있습니다. TT 그리고 추천드리는건 2VM 인데요...VM의 차이로 실습 과정과 경험이 달라 지는건 없기 때문입니다. 오히려 고사양의 PC에서 2VM으로 쾌적하게 실습을 진행 하는걸 추천 드립니다~ ^^ - 빅디 드림

  • leebk1124 프로필leebk1124
    2023-01-03733329

    안녕하세요! CM 정책 변경으로 제공해주신 VM 이미지를 사용하고 있는데, 그러면 가상머신은 2개만 사용이 가능한걸까요?? 해당 이미지 복사해서 설정 변경을 해봐도 cm에서 server03은 설치가 안되더라구요!

    Big.D
    Big.D
    Big.D
    2023-01-03232142

    안녕하세요! 빅디 입니다. 네~ 맞습니다. 2개의 VM Server로 구성된 이미지를 사용 하시면 됩니다. 만약 고사향의 PC를 가지고 계신다면, 섹션9. 자료실에서 3VM으로 구성된 이미지 파일을 다운로드 받아 진행하시면 됩니다~ -빅디 드림

  • Artisan 프로필Artisan
    2022-11-03685367

    안녕하세요 개정 2판 책을 구매해서 열심히 따라하고있습니다.. 초반부분 yum install openssh* 부분에서 막혀서 여기저기 돌아다니며 이것저것 해보는데 막혀버리니 어찌할 바를 모르겠습니다. 다른분들 답변에서는 간단하게 해결 가능하다고 하시는데 혹시 가르쳐 주실 수 있을까요? ㅜ

    Big.D
    Big.D
    Big.D
    2022-11-03221717

    안녕하세요! Artisan님! 관련 내용은 구매하신 책에 표기 되어 있는, 문의 채널 및 출판사로 연락 주시면 됩니다. 추가로 막힌 부분의 상황을 좀더 상세하게 설명해 주시면 좋을 것 같습니다~ - 빅디 드림

채널톡 아이콘