인프런 커뮤니티 질문&답변

DDK님의 프로필 이미지
DDK

작성한 질문수

15일간의 빅데이터 파일럿 프로젝트

5.빅데이터 클러스터 구성 5 - 하둡과 주키퍼 명령 사용해 보기

질문있습니당

작성

·

197

0

안녕하세요. 저는 데이터엔지니어가 되고 싶은 사람입니다. 데이터 엔지니어링 코스가 잘 없는데 이렇게 관련 코스를 만나 너무 반갑고 다행스럽습니다. 

저는 강의를 이제 막 듣기 시작해서 분산처리시스템 및 사용법에 대한 이해가 아직 부족합니다.

힘들게 설치해서 실습을 진행중인데 설치 환경 밖에서도 할 수 있는 높은 접근성이 없을까 고민하다가 dataproc이라는 클라우드 환경을 알게 됐습니다.

질문은 1. 현업 데이터엔지니어들도 클라우드 환경을 많이 쓰나요? 채용공고를 보면 아직까진 하둡을 요구하는 곳이 많더라구요.

2. 그렇다면 제가 이 수업과 클라우드 환경을 동시에 쓰는게 나을까요? 아님 빅디님 방식으로 먼저 하고 클라우드도 경험해보는게 나을까요? 개인적으로는 하둡하고 클라우드도 써보려고 하거든요. 효율적인 루트를 추천받고 싶어서요.

3. 또는 빅디님 수업을 클라우드환경으로 들어도 될까요?? 

마지막으로는 빅디님 현업 포지션이 어딘지는 모르겠으나 데이터엔지니어에 대해 컨설팅 및 조언을 받고 싶습니다. 유료라면 지불의사도 있구요. 

마지막 질문이 곤란하시다면 노코멘트 하셔도 좋습니다. 

그럼 저의 첫 질문에 대해 답변 부탁드리겠습니다. ☺️ 기술적인 질문은 진도를 나가며 차차 하려구요.

답변 2

0

Big.D님의 프로필 이미지
Big.D
지식공유자

안녕하세요! 빅디 입니다.

저도 온라인 인강이지만 이렇게 DDK님을 만나 뵐 수 있어서 반갑습니다. ㅎ

3가지 질문에 대해 저의 생각을 드리면요..

1. 현업 데이터엔지니어들도 클라우드 환경을 많이 쓰나요? 

A. 요걸 정량적으로 답하기는 어려울 것 같습니다. 하지만 저의 주변 환경을  봤을때는 그렇지 않다 입니다.

일반적인 엔터프라이즈 환경에서 데이터 처리/탐색/분석과 같은 과정은 데이터와 가장 가까운 위치에서 진행이 되는데요, 이를 기업에선 정보계 라고도 부릅니다. 이 정보계 환경은 조직의 데이터가 통합 관리 되면서 다양한 백오피스 작업들이 이루어 지므로 IT환경 전체가 클라우드가 아닌이상 온프레미스(데이케이트) 환경입니다. 단 일시적으로 비정형 데이터를 처리하는데 일회성 컴퓨팅 파워가 필요할 경우, 민감하지 않은 데이터 선에서 클라우드로 전송해 분석하는 경우는 종종 있습니다.

2. 그렇다면 제가 이 수업과 클라우드 환경을 동시에 쓰는게 나을까요? 아님 빅디님 방식으로 먼저 하고 클라우드도 경험해보는게 나을까요? 개인적으로는 하둡하고 클라우드도 써보려고 하거든요. 효율적인 루트를 추천받고 싶어서요.

A. 우선 강의환경에서 파일럿 프로젝트를 완성해 보고요, 이를 클라우드 환경으로 전환해 보는 접근을 추천 드립니다. 아마 파일럿 프로젝트를 강의 환경에서 끝까지 해보시면 DDK님 스스로 판단을 내리실 수 있을 겁니다. 

3. 또는 빅디님 수업을 클라우드환경으로 들어도 될까요?? 

A. 요건 2번질문에서 답을 드린것처럼, 곧바로 클라우드 환경으로 가시는것보다 우선 강의 환경에서 끝까지 진행해 보는것을 추천 드립니다. 진행중 많은 기술적 어려움과 실수들이 있을 것이고 이를 경험해 보는것이 중요 합니다. ^^

4. 마지막으로는 빅디님 현업 포지션이 어딘지는 모르겠으나 데이터엔지니어에 대해 컨설팅 및 조언을 받고 싶습니다.

A. 이또한 파일럿 프로젝트를 끝까지 완수해 보시면, DDK님 스스로 데이터엔지니어 로드맵과 방향성을 설계하는 역량을 가실 수 있을 겁니다. 

- 빅디 드림

DDK님의 프로필 이미지
DDK
질문자

열심히 마무리 해보겠습니다!! 중간중간에 질문 또 드릴수도 있어요 ㅎㅎ 

답변 감사드립니다 ^^

0

DDK님의 프로필 이미지
DDK
질문자

질문에서 하둡을 요구한다는 것은 온프레미스 환경을 의미합니다. 

DDK님의 프로필 이미지
DDK

작성한 질문수

질문하기