소개
안녕하세요 J.PHIL 입니다 🧑🏻🎓
첫번째 강의로 [ 빅데이터 시스템 구축 및 분석에 관심있는 입문자 ] 를 위해
"Mastering Big Data Processing: Tools and Techniques for Success" 강의를 오픈 하였습니다.
'수업 및 프로필' 자세한 사항들은 수업 상세 페이지에 잘 작성했으니 참고 부탁드립니다 🙏🏻
강의
수강평
- 빅데이터 클러스터 구축 패키지; 성공을 향한 로드맵
- 빅데이터 클러스터 구축 패키지; 성공을 향한 로드맵
- 빅데이터 클러스터 구축 패키지; 성공을 향한 로드맵
게시글
질문&답변
wb.json , pandas.json 파일을 jupyter notebook 환경에서 read 가 안됩니다..ㅠ
네 파일 안을 따로 수정하지 않으셨으면 큰 문제없이 돌아갈겁니다.pyspark를 docker로 실행하셨다고 했는데 도커에서 로컬 파일을 읽으려면 따로 mount가 필요합니다. 아니면 저 인풋파일들을 실행하신 도커 컨테이너안에 복사하신다음 다시 컨테이너내 경로를 정확히 설정하셔서 진행하시면 풀릴 것으로 보입니다.
- 0
- 3
- 238
질문&답변
[HDFS] Data integrity; checksum 관련 질문
안녕하세요 Kim Jiyu님,제가 대학원 시절에 논문 읽으면서 문뜩 궁금했던 사항인데 같은 질문을 주셨네요."If checksums are corrupted, how could it be resolved?"하둡 원서에서 따르면 HDFS 에서 checksum이 corrupt 될 확률은 매우 희박하므로 따로 대응하지 않는다고 나와있으니 참고하시면 좋을 것 같습니다.
- 1
- 2
- 204
질문&답변
zookeeper security group 에러
안녕하세요 fade님,지난번에 남겨주신 질문과 비슷한 것 같은데, 현재 작업 환경이 어떻게 되시나요?현재 마스터에서 각 슬레이드 노드끼리 ssh slave01, slave02 이렇게 할때 비밀번호 없이 잘 접속이 되나요?zookeeper port setting이 2181로 잘 설정되었나요? 그리고 각 master, slave01, slave02 2888:3888로 설정이 잘 되었나요? 되었다면 각 관련 slave들에도 접속해서 잘 복사되어서 설정되었는지 확인바랍니다
- 0
- 2
- 225
질문&답변
jar input output_notice 문의
이상하게 메일로 제가 해당 질문에 알림을 받지 못했네요 😀삭제된걸로 봐서 잘 해결된 듯 하니 화이팅입니다
- 0
- 3
- 236
질문&답변
안녕하세요. 강의 연장 신청 문의드립니다
네 제가 외부 출장중이라 주말에 확인하고 피드백 드리겠습니다 😀
- 0
- 2
- 272
질문&답변
안녕하세요 강의 연장문의
프로모션 적용해드렸습니다.참고로 강의 기본 수강기간은 4개월 입니다
- 0
- 2
- 189
질문&답변
안녕하세요 강의 연장문의
안녕하세요 ssupperj님,4월말까지 연장하였으니 구글폼에 등록해주시면 추후 처리해드리겠습니다 :)
- 0
- 2
- 189
질문&답변
ssh master02 입력시 permission denied 에러
안녕하세요 fade님,permission denied 의 경우 몇번 troubleshooting을 해봐야겠지만, 대체적으로 권한이나 ssh 키가 제대로 복사되지 않았을때 생길 수 있는 문제로 보입니다. 권한. 일단 ssh localhost 할때는 비밀번호 없이 잘 접속이 되나요? 여기서부터 잘 되지 않으면 처음 키복사부터 다시 해보는게 좋을 것 같습니다. 또는 key 파일이 너무 오픈되어있으면 그럴 수 있으니 처음 노드에서 키파일을 아래와 같이 권한 처리해주고 다시 AMI 복사해서 한번 해보시겠어요?chmod 600 ~/.ssh/id_rsachmod 600 ~/.ssh/id_rsa.pub 만약 이 방법도 잘 해결되지 않는다면 처음 base node에서 다시 ssh-keygen 부터 시작하셔서 다시 진행해주시기 바랍니다. pub 키 복사할 때 꼬이면 간혹 이런 문제 생길때가 있어서요 😀 (이 챕터에서 11:50 부터 확인해주시면 됩니다)https://www.inflearn.com/course/lecture?courseSlug=%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%81%B4%EB%9F%AC%EC%8A%A4%ED%84%B0-%EA%B5%AC%EC%B6%95-%ED%8C%A8%ED%82%A4%EC%A7%80&unitId=189046&tab=curriculum
- 0
- 2
- 204
질문&답변
vim etc/hosts 질문
안녕하세요 fade님, 상대경로가 아닌, 절대경로 /etc/hosts 즉sudo vim /etc/hosts 로 접근해보시겠어요?
- 0
- 2
- 259
질문&답변
venv 환경 패키지 설치 방법 문의
안녕하세요 홍태경님, pip3 install requests 로 설치하시면 되는데, 이미 되어있다고 보여서요. venv 킨 상태에서 python3 라고 입력하시고 interactive shell 에서 import requests 입력해보시겠어요? 특별한 이슈없이 다음 라인으로 넘어가면 문제 없이 잘 동작하고 있는 겁니다
- 0
- 2
- 969