Kafka & Spark 활용한 Realtime Datalake
김현진
₩132,000
30%
₩92,400
초급 / Kafka, Apache Spark, pyspark, data-lake
New
New
Kafka & Spark 활용한 실시간 파이프라인을 구성해보고 AWS Cloud Datalake를 구현해보는 강의입니다
초급
Kafka, Apache Spark, pyspark
초급자를 위해 준비한
[데이터 엔지니어링, 데이터 분석] 강의입니다.
이런 걸 배울 수 있어요
입문자/초보자도 따라만 하면 빅데이터•AI 프로젝트를 완성
빅데이터•AI 프로젝트의 분석>설계>개발>적용 과정을 이해
대용량 + 실시간 데이터를 처리하면서 분석에 활용하는 방법
스마트카 미니 프로젝트로 빅데이터~AI로의 가치 창출 과정
오픈소스를 프로젝트에 적용하고 아키텍처를 구성하는 방법
15일에 끝장내는 빅데이터+AI 학습!
실전 프로젝트로 재밌게 만들어보세요.
📣 수강 전 확인해주세요!
- 본 강의는 VirtualBox 기반으로 가상머신 서버 환경을 구성합니다. 맥 M1, M2 모델은 VirtualBox 미지원으로 실습이 불가능하므로 수강 전 실습을 위한 PC 환경을 확인해 주시길 바랍니다.
4차 산업혁명의 핵심기술
빅데이터와 AI를 모두 이해한다!
이 강의는 빅데이터와 AI의 기술 장벽을 넘기 위한 하나의 훈련 도구로 쓰이길 바라며 시작합니다. 특히 대규모 인프라에서 동작하는 복잡한 분산 소프트웨어와 분석 기법이 만들어낸 빅데이터/AI 구현 기술과 동작 원리에 좀 더 비중을 두고 있습니다.
우리 일상에서 이미 흔하게 볼 수 있는 스마트카를 예로 들어볼까요? 똑똑한 스마트카 안에 있는 전장 기술은 주행 거리부터 운행 패턴, 위치나 속도 등 차량과 운전자의 상태를 모니터링하는 다양한 IoT 센서들로 수많은 데이터를 만들어내고 있습니다. 이 정보가 보험이나 마케팅, 광고, 자동차, 교통 등 다양한 비즈니스 분야로 활용되고, 그렇게 활용된 정보는 다시 운전자에게로 전달되죠.
이렇듯 빅데이터 기술은 어느덧 우리의 삶에서 빠트릴 수 없는 필연적인 요소로 자리를 잡았습니다. 하지만 방대한 데이터의 양만큼이나 빅데이터 기술은 어렵고 막연하게만 느껴지죠. 그런데 누구나 약간의 기술만으로 빅데이터 및 AI 기술을 연동하고, 가치를 창출할 수 있다면 어떨까요?
숲과 나무를 동시에 보는
빅데이터 시스템의 모든 것!
이 강의에서는 빅데이터 시스템을 구축하는 데 필요한 실무 요건들을 도출하고, 이를 해결하기 위한 빅데이터의 핵심 기술 요소들을 설명합니다. 뒤이어 가상의 스마트카 파일럿 프로젝트를 통해 실전과 같은 빅데이터 및 AI 시스템을 구축하고 활용하는 방법을 경험하게 됩니다.
누구라도 좋습니다! 데이터를 수집하고, 적재하고, 탐색하고, 분석하는 네 가지 단계를 거쳐 머신러닝/딥러닝으로 이어지는 인사이트와 가치를 창출해보세요. 이번 강의를 통해 이제 막 빅데이터 분야에 뛰어든 IT 전문가들이 빅데이터의 숲과 나무를 동시에 볼 수 있는 통찰력을 기를 수 있기를 바랍니다.
스마트카 파일럿 프로젝트로
쉽고 빠른 실전 학습.
가상의 스마트카 파일럿 프로젝트로 ‘수집 → 적재 → 탐색 → 분석’ 의 네 단계를 직접 따라해 보면서 실전과 같은 빅데이터 및 AI 시스템을 구축해 봅니다. 20여 종의 오픈소스 + 하둡(Hadoop) 에코시스템을 이용한 프로젝트를 통해 빅데이터와 AI 원리를 한층 더 쉽게 이해하고, 실전에 빠르게 적응할 수 있도록 돕습니다.
15일간의 파일럿 프로젝트로
개념과 실전을 동시에.
프로젝트 일정은 총 15일+α 로, 빅데이터에 대한 기본적인 개념을 이해한 뒤 시스템 구축에 필요한 파일럿 프로젝트의 전 단계를 직접 실습을 통해 따라할 수 있도록 구성되어 있습니다.
누가 배우면 좋을까요?
빅데이터 학습을
시작한 학생/취준생
AI, 빅데이터 기술
적용해볼 개발자
데이터 활용/분석을
고민하는 기획자
빅데이터 관심있는
누구나 OK
학생, 취업 준비생, 개발자/엔지니어, 분석가, 기획자 등등 빅데이터와 AI 기술, 오픈소스 및 아키텍처링을 통한 프로젝트를 준비하는 분들이라면 간단한 SW 지식만 가지고 프로젝트의 처음부터 끝까지 도전할 수 있도록 구성했습니다.
복잡한 빅데이터 + AI 환경,
나날이 중요해지는 커뮤니케이션 + 협업 역량.
다양한 이해관계자의 역할과 포지션을 직접 경험 함으로써, 실전 현장에서 빠르게 적응하며 좋은 성과로 이어질수 있도록 도움을 드립니다.
학습을 위한 필수 요구 환경.
아래 저사양 or 고사양 수준의 PC 1대가 반드시 필요합니다.
🖥️ 실습 관련 PC 환경을 꼭! 참고해주세요.
- 실습 시작 전 메모리와 디스크의 여유공간 확보가 반드시 필요합니다.
- 18GB 분량 실습 자료 및 2대의 가상 서버를 제공합니다.
- VirtualBox 기반으로 가상머신 서버 환경을 구성해봅니다.
- 맥 M1, M2 모델은 VirtualBox 미지원으로 실습이 불가능합니다.
지식공유자의 저서가
궁금하다면?
『실무로 배우는 빅데이터 기술』 (위키북스, 개정2판)
『실무로 배우는 빅데이터 기술: 데이터 수집, 적재, 처리, 탐색, 분석, 머신러닝까지』
(위키북스, 책 소개 바로가기)
이런 분들께
추천드려요!
학습 대상은
누구일까요?
빅데이터/AI 분야의 실전과 같은 프로젝트 경험이 필요한 분들
빅데이터/AI의 숲과 나무를 동시에 보는 통찰력이 필요한 분들
빅데이터/AI의 기술장벽을 넘기 위한 훈련 도구가 필요한 분들
아키텍트로 성장하기 위해 오픈소스 활용 역량이 필요한 분들
선수 지식,
필요할까요?
print("Hello World!") 코드를 이해
간단한 리눅스 명령어를 Copy & Paste
안녕하세요
Big.D입니다.
1,131
명
수강생
109
개
수강평
367
개
답변
4.9
점
강의 평점
1
개
강의
금융과 통신 등 다양한 분야에서 빅데이터와 AI 관련 전문가로 활동하고 있으며, 기술&경험의 채우기와 비우기를 반복하며 소소한 행복을 찾는 Big.D(빅디) 입니다.
커리큘럼
전체
128개 ∙ (22시간 48분)
해당 강의에서 제공:
수업자료
강좌 소개
10:11
1.빅데이터 개념
07:54
2.빅데이터 목적
05:51
3.빅데이터 활용
04:43
4.빅데이터 프로젝트
09:51
5.빅데이터 기술의 변화
05:13
6.빅데이터 구현기술
12:15
8.빅데이터에서 R&R
04:46
7.빅데이터 보안
08:09
0.시작하기 전에
02:38
1.파일럿 프로젝트 도메인의 이해
12:43
4.VM 통합 환경 구성
15:12
7.파일럿 환경 관리 - 시작과 종료
10:41
8.빅데이터 실환경의 이해
12:53
9.마치며
03:02
강의 게시일:
마지막 업데이트일:
수강평
전체
109개
4.9
109개의 수강평
- 남기범
∙
수강평 2
∙
평균 평점 5.0
5
98% 수강 후 작성빅데이터 환경을 어떻게 구성하고 어떻게 사용하는지 전반적인 흐름에 대해 이해하기 쉽게 알려주시네요. 비록 빅데이터 쪽으로 가지 않으시는 분들도 꼭 들었으면 하는 좋은 강의였습니다. 감사합니다!
- Big.D지식공유자
안녕하세요! 남기범님! 파일럿 프로젝트 핵심은 전반적인 흐름을 이해 하는건데요.. 이를 끝까지 잘 마무리해 주셔서 감사합니다. - 빅디 드림
- leehb
∙
수강평 1
∙
평균 평점 5.0
5
47% 수강 후 작성강의너무 잘들었습니다. 참유용했어요 다시 관련부서에서 일하게되어 다시 공부하고 싶은데 기간이 만료되었어요.ㅠㅠ 혹시 재수강 할인같은건 없을까요? 감사합니다.
- Big.D지식공유자
leehb님! 좋은 강의로 평가해 주셔서 감사합니다! 강의 기간을 좀 더 연장 했습니다. 관련 업무에 많은 도움이 되었으면 합니다. - 빅디 드림
- 둥굴이
∙
수강평 11
∙
평균 평점 5.0
5
100% 수강 후 작성빅데이터 실무 프로젝트를 따라할 수 있는 몇 안되는 강의였습니다. 직접 따라하기 많이 버겁지만, 개념적으로 많은 도움을 받았습니다. 남은 수강기간이 얼마 남지 않았는데, 다시 한번 복습 해려고 합니다.
- Big.D지식공유자
둥굴이님! 파일럿 프로젝트 수행에 수고 많으셨습니다! 빅데이터의 다소 많은 것을 다루다 보니 강의가 좀 무겁습니다. ^^;; 꼭 한번 더 복습하세요~! -빅디 드림
빅디님 환경구성을 직접 클라우드데라를 설치를 해보느라 수강을 다 못했습니다 ㅠ 혹시 수강기간 한달만 연장가능할까요? 죄송합니다ㅠ
- Seonggil
∙
수강평 1
∙
평균 평점 5.0
5
90% 수강 후 작성안녕하세요. 전반적인 시스템을 배울 수 있어서 좋은 강의인 것 같습니다.
- Big.D지식공유자
안녕하세요! Seonggil님! 좋은 강의평 너~무 감사 합니다. ^^* -빅디 드림
- hyunjungio
∙
수강평 1
∙
평균 평점 5.0
5
9% 수강 후 작성빅데이터 AI 프로젝트를 따라해 볼 수 있어서 좋습니다. 강의 냉도 이해가 잘되고..프로젝트 끝까지 달립니다! 파일럿프로젝트 완료 했어요~
- Big.D지식공유자
안녕하세요! 빅디입니다! 파일럿 프로젝트의 어려운 과정들을 많이 완수 하셨네요! 끝까지 화이팅 입니다. - 빅디 올림
비슷한 강의
같은 분야의 다른 강의를 만나보세요!
![[2025] SQLD 문제가 어려운 당신을 위한 노랭이 176 문제 풀이강의 썸네일](https://cdn.inflearn.com/public/files/courses/336270/cover/01jq3sh7spwk1gykm5ecez7vrq?w=420)
![[무료]기초 텍스트마이닝: 앱 리뷰 분석 with 파이썬(40분 완성)강의 썸네일](https://cdn.inflearn.com/public/courses/331163/cover/74cc657a-a8f9-4a78-8edb-0d5fcd4c4c75/331163.png?w=420)
![실무자가 알려주는 데이터 분석가 취업 준비 완벽 가이드 [월간 데이터리안 세미나 다시보기 | 2023년 9월]강의 썸네일](https://cdn.inflearn.com/public/courses/331936/cover/9c693d54-1183-4dcf-bda8-a46e161c61d2/331936-eng.png?w=420)
![[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)강의 썸네일](https://cdn.inflearn.com/public/courses/329972/cover/dcfb28fd-48c1-4bb1-ab31-d59eac874194/329972-original.png?w=420)
![데이터 분석가, 어떤 회사로 가야할까? [데이터리안 세미나 다시보기 | 2024년 7월]강의 썸네일](https://cdn.inflearn.com/public/courses/334459/cover/22684393-748c-43e3-8282-fcd6fee701d9/334459.png?w=420)
