Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기

3. 빅 데이터가 가지고 있는 구성 요소와 종류는 무엇인가?

5. 앞다퉈 빅데이터를 다루는 기업들은 얼마나 많은가?

8. 하둡 스텍의 핵심 원리와 다섯 가지 이득은 무엇일까?

10. 핵심 모듈[1]-하둡의 공통 모듈-Hadoop Common Module

11. 핵심 모듈[2]-하둡 분산 처리 파일 시스템 모듈(Hadoop Distributed File System)-HDFS Module

12. 핵심 모듈[3]-맵리듀스 모듈-MapReduce Module

13. 핵심 모듈[4]-얀 모듈-YARN Modules

14. 하둡 아키텍쳐 기본 구조 - Hadoop version 1.x and 2.x - HDFS High Availability and Federation (HDFS 고 가용성과 연합)

15. 하둡 아키텍쳐 기본 구조 - Hadoop version 2.x and 3.x (I) - Java, Fault Tolerance, Data Balancing, Storage Scheme, Storage Overhead

16. 하둡 아키텍쳐 기본 구조 - Hadoop version2.x and 3.x (II)- YARN Timeline Service v2, Scalability, Default Port Range, Compatible File System, Name Node Recovery

17. 하둡 아키텍쳐 핵심 요소[1] - 마스터 슬레이브 테크놀로지 구조

18. 하둡 아키텍쳐 핵심 요소[2]- 복제 관리 매커니즘(Replication management)

19. 하둡 아키텍쳐 핵심 요소[3]- 렉 인지 (Rack Awareness)

20. 하둡 아키텍쳐 핵심 요소[4]- Read/Write Architecture

21. 하둡 설치에 대한 순서 이해하기

22. 내 PC에 가상화 지원하기 위한 사전 작업 해보기

23. 가상화 기술에 대한 이해하기 - 가상 머신

24. 버추얼 박스(VirtualBox 6.1.8. ) 설치 요령 (확장판 다운로드 포함)

25. 버추얼박스 설정 (Preferences)에서 확장판 패키지 파일 추가하기

26. 버추얼박스 위에 Ubuntu 20.04 LTS 연결하여 설치해보자!!

27. 사전 작업[1] - 유분트 터미널에서 SSH/PDSH 공개키 설치 및 bashrc 파일 등록

28. 사전 작업[2] - 우분투 터미널에서 자바 1.8 설치 및 자바 환경 세팅 구축

30. 우분투 터미널에서 하둡 3.2.1 환경 세팅[2] - 네 가지 xml 하둡 환경 설정과 네임노드 및 포멧 하둡 서비스 실행

32. 하둡 명령어 - FS(Files System) Shell : ls , mkdir , touchz

33. 하둡 명령어 - FS(Files System) Shell : put, copyFromLocal, get, copyToLocal

34. 하둡 명령어 - FS(Files System) Shell : cat, mv

35. 하둡 명령어 - FS(Files System) Shell : cp, rm, chmod

36. 하둡 스몰 프로젝트(우분투 로컬시스템 데이터를 하둡 시스템으로 로딩해보기)

37. 하둡 공통 명령어 : 사용자 명령어(User Commands)[1] - archive, checknative, classpath, conftest, credential

38. 하둡 공통 명령어 : 사용자 명령어(User Commands)[2] - distcp, fs, jar, kerbname, kdiag, version, envvars

39. 얀 위에 실행되는 맵리듀스 세 가지 한계 이론(Three Theory in MapReduce on YARN)

40. 얀 위에 실행되는 맵리듀스와 그 고정 사이즈 청크들 (Fix-sized Chunk in MapReduce on YARN)

41. 하둡 맵리듀스 모듈 프레임워크 개요 (Hadoop MapReduce Module Framework Overview)

42. 얀 디 아이디어 이전 맵알 1 (MR v1 : Previous YARN THE IDEA)

43. 앰알1의 한계와 얀 디 아이디어 탄생 (The limitation of MR 1 and YARN THE IDEA's Birth)

44. 얀의 페러다임과 맵리듀스 어플리케이션 분할(YARN Paradigm : the Division between YARN and MapReduce)

45. YARN 어플리케이션 수행 해부 (Anatomy of A YARN Application Run)

46. 얀 위에 맵리듀스 프레임워크에 대하여 (About MapReduce Framework On YARN)

47. 얀의 세가지 스케쥴 옵션 : The FIFO, Capacity, Fair Scheduler (Three Scheduler Options in YARN)

48. 얀의 리소스매니저 역할 : 스케쥴러와 어플리케이션 매니저 (The Responsibility of Resource Manager on YARN - The Scheduler and The Application Manager)

50. 맵리듀스 예제로 구현하는 워드 어플리케이션 실전편 (Implement Map/Reduce WordCount Application I)

51. 하둡 웹 UI에서 구현된 맵리듀스 예제로 워드 어플리케이션 확인 (Open Map/Reduce Wordcount Application on Hadoop WebUI)

52. 맵 단계 구현 이론편 ( Theory Mapper Python in the Wordcount MapReduce Application)

53. 우분투 파일시스템 상에 파이썬으로 맵 단계 구현하기 실전편 (Implement Mapper Python in the Wordcount MapReduce Application)

54. 리듀스 단계 구현 이론편 ( Theory Reducer Python in the Wordcount MapReduce Application)

55. 리듀스 단계 구현 총괄 프로세스 이론편 ( About Theory of Whole Mapper Process Python in the Wordcount MapReduce Application)

56. 리듀스 단계 구현 실전편 ( Implement Mapper Python in the Wordcount MapReduce Application)

57. 우분투 로컬 시스템에서 파이썬 맵퍼와 리듀서 소스 구현 Mock 모의 테스트 실전편 ( Mock test Mapper.py and Reducer.py Python source in the Wordcount MapReduce Application)

58. 하둡 분산 파일 시스템에서 파이썬 맵퍼와 리듀서 소스 구현 실전편 ( Build Mapper.py and Reducer.py in the Wordcount MapReduce Application)

59. 자바 15 버전으로 이클립스 설정 (Installation and Configuration Eclipse for Hello Word Application in Java)

60. 이클립스 IDE 환경에서 자바 JDK 15 설정 및 헬로우 어플리케이션 제작 (Installation and Configuration Eclipse for Hello Word Application in Java)

61. 이클립스에서 자바 JDK 1.8 와 하둡 라이브러리 다섯가지 설정 (Setup JDK 1.8 and Hadoop Library in Wordcount Application for MapReduce in Java using Eclipse)

62. 기본 개념 세 가지 '클래스' ,'패키지','임포트' (Three Concept of Class, Package, Import Keyword in Wordcount Application for MapReduce in Java using Eclipse)

63. '클래스' ,'패키지','임포트' 소스 구현 (How to implement Wordcount Application for MapReduce in Java using Eclipse with Class, Package, Import keyword)

64. 맵 단계(Map class) 구현 내 '맵리듀스베이스' 클래스 그리고 '맵퍼' 인터페이스 이해하기 (Understanding MapReduceBase Class, Mapper Interface in Map Class in the WordCount Application for MapReduce in Java using Eclipse)

65. 맵리듀스 구현에 필요한 자바의 여덟가지 키워드 : static, extends with MapReduceBase

66. 맵리듀스 구현에 필요한 자바의 여덟가지 키워드 : hadoop interface Mapper<k1, v1, k2, v2> with 'implement' keyword in java language

67. 맵리듀스 구현에 필요한 자바의 여덟가지 키워드 : final 키워드 (final keyword with few data types in Java along with the equivalent Hadoop variant)

68. 맵리듀스 구현에 필요한 자바의 여덟가지 키워드 : void, throws keyword

69. 맵리듀스 구현에 필요한 자바의 여덟가지 키워드 : new , while 키워드

70. 자바 언어로 맵 단계 리듀스 단계 구현 제작 실전편 (Map Class for the WordCount Application in Java using Eclipse)

71. 이클립스에 하둡 3.2.1 플러그인 연동 - Integration of the Hadoop 3.x Eclipse Plugin in Eclipse using Ubuntu

72. 이클립스에서 HDFS 새로운 하둡 디렉토리 생성와 파일 복사해보기

73. 이클립스 IDE 툴을 이용하여 WordCount v2.0 맵리듀스 프로젝트 생성하고 log4j 프로퍼리 연동

74. 하둡 3.2.1 플러그 연동된 이클립스에서 맵리듀스 어플리케이션 구현 - 맵 단계인 맵퍼 클래스 코딩 구현 (how to create Mapper Class using Eclipse)

75. 하둡 3.2.1 플러그 연동된 이클립스에서 맵리듀스 어플리케이션 구현 - 리듀스 단계인 리듀서 클래스 코딩 구현 (how to create Mapper Class using Eclipse)

76. 하둡 플러그인 연동된 이클립스 IDE에서 WordDriver 클래스 구현하여 WordCount 맵리듀스 어플리케이션 로딩(Loading WordCount Application with Loading WordDriver Class in Java using Eclipse)

77. 빈 데이터 계산된 워드카운트 어플리케이션 추가 프로젝트 구현

78. 캐나다 코빅 19 일별 데이터 조회 어플리케이션 프로젝트 13 단계 개발 과정 소개 - Build The Project Covid 19 Maxmum Case per day Hadoop MapReduce Application using Maven

79. 캐나다 코빅 19 일별 데이터 조회 어플리케이션 프로젝트 생성 - Create Project Covid 19 Maxmum per day Hadoop MapReduce Application

80. Pom.xml와 함께 하는 마븐 프로젝트란 무엇인가요 그리고 어떻게 사용하는가? - What is Maven and How maven using pom.xml works?

81. pom.xml 파일 추가하여 캐나다 코빅-19 일별 데이터 조회 어플리케이션 마븐 프로젝트에 Log4j 추가하기 - Add pom.xml and Log4j in the Covid-19 Maximum Case MapReduce Application

82. 캐나다 코빅19 2020-20201년 4월 기준 일별로 비교하여 데이터 업로딩 - Uploading Public Health Infobase Data on COVID-19 in Canada to HDFS

83. 캐나다 코빅 19 일별 집계 데이터 어플리케이션 구현 단계 중 코비드매퍼 클래스 소스 분석 - CovidMapper Class Analysis in the Canada Covid 19 Maxmium Case MapReduce Application

84. 캐나다 코빅19 일별로 비교하여 데이터 조회 어플리케이션 구현 (2020-20201년 4월 기준) - 맵퍼 단계 구현

85. 캐나다 코빅19 2020-20201년 4월 기준 일별로 비교하여 데이터 조회 어플리케이션 추출