안녕하세요. "실무로 배우는 빅데이터 기술" 교재와 15일간의 빅데이터 파일럿 프로젝트 강의에 열정을 쏟고 있는 학생입니다. 커뮤니티 게시판에 '고민있어요' 배너를 보고, 제 학습과 관련된 고민을 나누고자 글을 쓰게 되었습니다.
제 경험을 간단히 소개하자면, 약 2년간 직장에서 파이썬을 활용하여 크롤링, 분산 처리, API, DB 관리 등을 통해 데이터 수집 및 모델링 업무를 해왔습니다. 이후 데이터 엔지니어로 전환하면서, 본격적으로 이 분야를 공부하기 시작했습니다. Hadoop 생태계나 리눅스는 이전에는 이름만 들어본 적이 있었는데, 이번 강의를 통해 직접 프레임워크를 구축하고 설정하며, 데이터를 쌓아보는 경험은 정말 뜻깊습니다. 특히 Cloudera나 Git에서 'bigdata2nd-master' tar 파일을 받아 시스템을 구축하는 과정을 통해 전체적인 워크플로우와 업무에 대한 이해를 넓힐 수 있었던 점은 다른 어떤 강의보다 만족스러웠습니다. 처음 프레임워크를 하나하나 구축하고 설정하는 과정이 매우 어렵게 느껴졌는데, 이번 강의를 통해 크게 성장할 수 있었습니다.
강의 중 강사님께서는 프레임워크 자체에 집착하기보다는, 요구사항을 통해 세부적인 요구사항을 도출하고, 이를 해결하는 방법에 중점을 두라는 조언을 주셨습니다. 프레임워크가 어떻게 활용되는지를 이해하고, 실제 문제 해결에 적용하는 방향으로 학습하라는 조언은 매우 감사했습니다.
하지만, 저의 고민은 여기서 시작됩니다. 저만의 공부와 업무를 진행할 때, 대부분의 경우 도커 컨테이너 내에서 conf, yaml, Dockerfile 등을 직접 구성하거나 수정해야 할 것으로 압니다. Cloudera를 사용하지 않고 직접 프레임워크를 설계하며 공부를 해보고 싶은데, 이에 관련된 다른 강의나 학습 방향에 대한 조언을 구할 수 있을까요?
긴 글 읽어주셔서 감사합니다.
안녕하세요! Junhui woo님!
새로운분야를 시작하면 이런저런 고민이 많게되죠?! ^^;
기계적교감이라는 말이 있습니다. 하드웨어 소프트워어의 작동원리를 이해하고 기계를 사용해야는것이 중요함을 의미 합니다.
그래서 님께서 고민하는 문제는 뛰어난 엔지니어가 되기위한 여러 과정에서 오는 고민중 하나입니다.^^
그런데 저희 IT분야의 지식은 너무 넓고 깊습니다. 거기에 발전 속도는 더더욱 빠름니다. 1만시간의 법칙도 있는데요 한분야의 전문가가 되기위해선 1만시간의 노력이 필요하다는 얘기 입니다. (참고로 저는 이법칙을 매우 중하게 생각합니다.ㅋ) 그런데..빅데이터 모든 기술을 기계적교감과 1만시간의 법칙으로 배우려면 아마 10년도 넘는시간이 필요하게 됩니다. ^^;;;;
그래서 선택과 집중을 해야합니다!
우선 선택은 필요성이 중요합니다. 내가 필요에의해 선택된 기술을 공부할때 집중 할 수 있는 당연함입니다.알다시피 실전 프로젝트를 할때 기술 습득 효과가 가장큰것도 이때문이고요-
파일럿프로젝트 강의는 큰그림을 이해하기위함이고, 선택과 집중은 여러분들의 몫인데 Junhui woo님의 지금 선택은 컨테너 환경과 기술로 보입니다.
각설이 길었네요. 결론을 말씀드리자면..책, 인강, 블로그등 배울수 있는 관련 자료는 많이 있는데요, 기본공부를 해당 자료들로 퀵하게 해보시고 자신만의 미니프로젝트를 추천드립니다.
간단하게 미니시나리오를 만들고요..
예를들면 가상의 고객정보를 등록조회하는 웹/와스/디비를 컨데이너 환경을 만들고 간단한 회원정보 관리 애플리케이션를 진행해 보시는겁니다.
추가로 AWS 퍼블릭 클라우드 EKS 환경에서 미니프로젝트를 도커라이징 및 배포 해보는 것도 추천드립니다.
-빅디 드림
답글