55,000원
h.agnes2022-11-24698761안녕하세요! 강의를 수강을 희망하고 있는데, 혹시 'section16 캐나다 코빅 19 일별 데이터 조회'에서 배울 때 데이터를 제공해주시는건지 궁금합니다. 감사합니다:)
- jjin2022-09-20656343
안녕하세요 하둡과 스파크를 설치하고있는데 하둡은 설치를 완료한상태입니다. 스파크를 하둡계정에서 설치해야하나요?? 아니면 현재 사용하는 우분투 서버계정으로 설치해도되나요?? 스파크를 yarn클러스터에서 실행하고싶습니다.
Billy Lee2022-09-28215385안녕하세요 , sjjin님 인사가 늦었네요 설치는 하둡 계정에서 가능하며 wget https://dlcdn.apache.org/spark/spark-3.2.1/spark-3.2.1-bin-hadoop3.2.tgz sudo tar xvfz spark-3.2.1-bin-hadoop3.2.tgz -C /usr/local/ sudo chown -R hduser:hadoop /usr/local/spark-3.2.1-bin-hadoop3.2/ 이러한 상태로 진행을 해보세요.... 단 /usr/local 경로는 스스로 필요한 경로를 설정하여 설치해보세요 하둡 계정을 sudo su - 하둡계정명 입력하여 설정하여 시작하여야 계정 내에서 하둡과 스파크 사용이 되겠죠 또한 스파크 설정과 ssh 계정 으로 진행해보세요 https://www.skyer9.pe.kr/wordpress/?p=5184 참고해보세요. 잘 나타나 있는 듯 합니다. 캐나다 아닌 대한민국에서 응원합니다. 빌리 올림
- kimmy2022-07-04583894
안녕하세요. 강의를 듣기 위해서 필요한 최소 노트북 사양이 있을까요?
Billy Lee2022-07-05197684안녕하세요. 강의를 듣기 위해 최소 노트북 사양 기준은 사실 RAM 8-12GB 이상이면 충분합니다. 다만 윈도우나 맥OS에서 버추얼라이제이션이 설치된다면 됩니다. 오라클 버추얼박스 설치가 되면 우분투 20.04 LTS 사양 기준에 맞추어 진행되기에 12GB까지는 조금 느리다는 생각이 들겁니다. 그러기에 20GB RAM 기준에 노트북이면 충분할겁니다. 저도 16GB ASUS 사양으로 진행핬었기 때문에 느리지만 잘 진행하였습니다. 열공하시길 바라며 토론토에서 빌리 올림
- suhpysiss2022-06-18567979
안녕하세요. 하둡 강의를 구매했는데 맥북 m1이 가상머신을 지원하지 않는다는 것을 알게 되었습니다. 현재 컴퓨터에 하둡을 설치하는 것까지는 했는데, 강의를 직접 실습하며 따라가려면 가상머신이 필수적일까요? 수강신청을 했다가 취소하고 수강 전에 문의해봅니다.
Billy Lee2022-06-19194607질문에 답은 가상머신을 하는 이유는 리눅스 바탕에 하둡 설치를 하려고 하는 것입니다. 만약 가상머신을 하지 않고, 맥북에서 바로 설치하셔도 무방합니다. 강의목적은 하둡을 설치하면서 HDFS/MapReduce 어플리케이션 제작과정에 있기 때문이죠. 1. 맥OS에서 install homebrew 2. brew install hadoop 명령어를 던져보세요. 3. jdk 설치 4. hadoop 설치된 폴더 이동합니다. (hadoop 홈폴더/libexec/etc/hadoop) 하둡 버전에 따라 다를 수 있습니다. 5. hadoop-env.sh 파일을 열어 자바 export hadoop home 디렉토리 설정합니다. 6. 4가지 하둡 환경 세팅 파일들을 지정합니다. 7. Sharing -> Remote Login 선택합니다. 8. namenode format 합니다. 9. 하둡 명령어로 HDFS/YARN 데몬을 띄우세요. 자세한 사항은 아래 홈페이지로 이동하여 천천히 따라해보세요. https://codewitharjun.medium.com/install-hadoop-on-macos-efe7c860c3ed 이제 설치가 되었다면 강의를 들으면서 HDFS 사용방법이나 MapReduce 어플리케이션 제작을 진행해보세요.
- 홍태경2022-04-04497023
안녕하세요 데이터 엔지니어라는 직업을 꿈꾸는 학생입니다. 하둡, 스파크 라는 데이터 플랫폼을 찾으면서 이 강의를 알게되었습니다 지식이 부족하여 질문 몇가지만 드리겠습니다! 1) 현재 빅데이터 플랫폼으로 스파크를 많이 사용한다고 하는데 하둡도 역시 실무에서 많이 사용 되나요? 2) 제가 파이썬이 자바보다 익숙하여 파이썬 기반인 스파크를 해야 하나 고민 중인데 대다수의 분들이 하둡을 거친 후 스파크를 가야 이해도가 높아진다 하시던데 자바 기본을 익힌 뒤 수업을 들어도 따라가는데 문제가 없을까요? ( 아는게 없어소.... 질문 수준이 떨어지는거 너무 죄송합니다) 3) 제가 이번에 airflow? 강의를 듣는데 하둡도 airflow에도 연계하여 무언가를 만들 수 있나요? 4) 현재 스파크와 하둡등 딥하게 들어가는 강의가 인프런에 하나도 없는데 혹시 추 후에 하둡, 스파크(파이썬) 관련된 강의도 올릴 예정이 있으신가요 5) 혹시 4번 예정이시라면 도커등을 이용하여 아주 짧게라도 하둡을 컨테이너화 시키는 것도 올려주실 수 있나요..? 금액이 얼마든 상관없이 모두 구매하겠습니다
Billy Lee2022-04-04180764안녕하세요. 데이터 엔지니어 꿈을 가진 홍태경님에게 우선 빅데이터 지식에 갈망하는 분에게 힘이 되고자 만든 강의를 관심 가져주셔서 감사합니다. 1) 하둡 빅데이터를 다루고 전문가로 우뚝 서고 싶다면 하둡 에코시스템 전반에 걸쳐 배워야 합니다. 물론 하둡 에코시스템 중 하나인 스파크 역시 마찬가지 이죠. 스파크는 맵리듀스를 대체할 수 있는 기술이며 (둘 다 HDFS 에서 돌아가는 시스템 컴포넌트이지만) 배워야 합니다. 데이터 엔지니어에서는 저의 강의(Hadoop 3.2.1)를 들으신 뒤 "하둡과 스파크를 활용한 실용 데이터 과학"이라는 책을 접하시면 이해가 더 빠릅니다. 그냥 읽으시면 아마 몇 번을 반복적으로 습득하거나 책을 덮을 수도(?) 있겠죠... 2) 하둡 전반으로 배우게 될 겁니다. 하둡 핵심 기술인 하둡 공통 모듈, HDFS 모듈, 맵리듀스 모듈, YARN 모듈을 모두 배우게 됩니다. 그 후로는 열공하셨다면 혼자서도 스파크 웹 사이트에 가셔서 설치 및 운영 시스템을 터득할 수도 있습니다. 3) 딥하게 들어가고자 한다면 우선 저의 강의를 들으셔서 이해하신다면 시중의 책을 이해하게 되며, 추후 스파크 나 파이썬 강의도 올릴 예정입니다. 아마 빠르면 올 해 연말 혹은 내년 초에는 나오지 않을까합니다. 개인 사정상 늦을 수도 있구요.. 부족하지만 저의 강의에 관심 주셔서 감사합니다. 부디 데이터 엔지니어 전문가가 되셔서 저의 강의가 빛을 발하게 된다면 좋겠네요.. 멀리 토론토에서 응원합니다. 빌리 올림
- yuiiiiuy2022-03-10469985
안녕하세요, hadoop에 관심을 갖고 배우고 싶은 학생입니다. mac os를 사용하더라도 강의를 따라가는데 어려움이 없을지 궁금하여 문의드립니다.
Billy Lee2022-03-10174206네 맥에서 사용가능할 것입니다. 맥을 한번도 사용하지 않았지만요. 맥OS에서 하둡을 설치하는 방법을 찾아 해보는 것도 나쁘지 않겠지만, 리눅스에서 처리하는 것과 비슷할 거라 생각됩니다. 그러나 설치 과정은 맥OS에서 설치할 수 있는 과정을 소개한 웹 사이트를 참고하세요.. 예를 들어 https://blog.petehouston.com/complete-guide-to-install-and-configure-apache-hadoop-3-on-macos/ 하둡3을 맥에서 설치하는 방법을 소개하네요. Java 8 Homebrew 두 가지 설치한 뒤에 설치해보세요.. 설치가 되었다면 하둡 환경 세팅 하여 진행해보시고 답변 주세요.. 잘 되었는지 저도 궁금하네요.. 토론토에서 응원합니다.
- 녕나2021-10-09327907
안녕하세요, 전에 올린 질문에 친절하게 답변해주셔서 감사합니다.. 실은 클라우드를 이용한 데이터 파이프라인 구축, 에어플로우 이쪽만 공부하고 관심이 있었는데. 하둡을 배워놓으면 여러모로 도움이 될까요? 스파크가 하둡 기반이라고 배웠는데 하둡->스파크를 배우면 좀더 이해가 잘될까요! 감사합니다 ㅠㅠ
Billy Lee2021-10-10142492네 당연히 배우셔야 합니다. Airflow 뿐만 아니라 하둡과 스파크는 전 세계적으로 모든 기업들이 배우며 따라갈 수 있는 개발자를 찾고 있다고 합니다. 물론 데이터 파이프라인 스케쥴링과 모니터링을 중점을 둔 Airflow 보다는 더 국제적인 기업들은 하둡 개발자를 더 많이 찾고 있습니다. 당연히 하둡은 분산처리 시스템과 하둡 에코 시스템인 스파크를 비롯하여 다양한 시스템을 점목시키고 있어서 많은 기업들이 선호하는 프레임워크입니다. 한국이나 여기 캐나다도 당연히 하둡 개발자를 찾고 있으며 그만큼 많은 작업들을 소화할 수 있는 사람들을 찾고 있죠. 배우시면 도움이 될 겁니다. 많은 일들이 빅데이터 헤엄에서 못 벗어나고 있는 셈이죠.. 그만큼 빅 데이터 취급은 기업들이 짊어지고 가야할 숙제이기도 합니다.
- 녕나2021-10-08327560
혹시 하둡 v2와 v3가 명령어 등등 차이가 많이 날까요? 학교에서는 v2로 진행을 하는데 v3를 배워도 크게 다를점이없을까요?
Billy Lee2021-10-09142349제 강의에서 하둡 버전 2와 3의 차이점을 보시면 아마 이해를 하실 겁니다. 차이점이라고 해도 자바 언어 기준이라서 큰 문제는 없겠습니다. 오히려 2와 3에 대한 이해를 더 깊이 알게 될 겁니다. 학교 기준으로 강의를 들으면서 저의 강의로 2 버전과 3 버전 머신을 동시에 올려서 해보시면 더 배우는데 이해가 빠를 듯 합니다. 추후 기업에서는 2 버전을 여전히 사용하고 있지만 3 버전으로 곧 올리려고자 할 것입니다. 인지하시고 취업되신 뒤 팀원들과 교류 면에서 수월할 듯 합니다. 토론토에서 응원합니다. 화이팅!!!
- Hak Oh2021-06-08227862
3.3 중급자 버전으로도 강의를 내실 계획이신것 같은데 언제쯤 나오는건가요?
Billy Lee2021-06-09114867저의 다음 강의 계획에 관심을 가져주시니 감사하네요. 하둡이 10년 넘게 사랑을 받으면서도 동시에 많은 사람들에게 힘든 과목일 수 있다고 생각됩니다. 이 초급 과정을 계획한지 10개월이 후딱(?) 지나갔습니다. 긴 시간이라는 점에서 아마 놀라실 수도 있지만, 개인적으로 하둡으로 빅데이터를 다루지 않고, Paxata라는 툴이나 ETL 툴 (TeraStream)로 사용을 해왔기에 하둡 설치와 개념에 조금 골머리를 앓기도 했습니다. 그럼에도 중급자 버전은 아무래도 조금 시일이 걸릴 듯 합니다. 물론 초급자 과정 개설 시간보다는 줄겠지만, 개인적인 프로젝트를 하고 있는 상황에서도 신중하게 접근하고자 합니다. 조금 더 깊은 이해를 주기 위해서도 몇 개월은 걸릴 듯 합니다. 긴 시간이라도 조금 이해해주시면 감사하겠습니다.
- smartsocial2021-06-04225275
파이썬 개발자인데 하둡을 공부하기 위해 자바가 꼭 필요한가요?
Billy Lee2021-06-04113879사실 꼭 자바가 필요한 것은 아닙니다. 만약 파이썬 개발자이면 파이썬으로 개발하셔도 무방합니다. 제가 강의했던 내용 중에 파이선으로 개발한 내용대로 충실하 하실 수 있다면 파이썬으로 하둡을 더 깊이 연구하세요.. 물론 하둡이 자바 언어로 만들었기 때문에 개발에 더 깊이 이해할 수 있겠지만 하둡은 하둡 내부 구조를 아는 것보다 개발 자체에 신경을 쓰심이 좋을 듯 합니다. 미국, 캐나다, 유럽도 현재 자바 만큼 파이선 개발자를 구하고 머신 러닝을 파이선으로 개발하며 파이선 전문가를 찾고 있답니다. 좋은 답변 되었다면 좋구요.. 개인적으로 수 년동안 자바로만 개발했기에 부럽기도 합니다. 파이선 개발자로 일을 하고 있다면 빅데이터를 파이선으로 개발하고 발전시킬 수 있는 좋은 기회를 놓치지 마시고, 파이선 언어가 많은 기업과 개발자들 사이에 현재 선호가 높다는 것은 분명합니다. 인공지능, 머신러닝, 데이터 분석에 이르기까지 많은 경험을 쌓아 파이선 개발자를 넘어 전문가로 우뚝서길 바랍니다.
네 제 강의에 관심을 가져주셔서 감사합니다. 질문하신 캐나다 코빅 19 일별 데이터 조회할 때 실데이터를 제공합니다. 다만 캐나다 사이트에 직접 들어가 데이터셋을 다운받도록 강의에서 도와주니 강의를 수강하시어 하둡으로 빅데이터 세계에 들어오시길 추천드립니다. 감사합니다.