인프런 커뮤니티 질문&답변

allew님의 프로필 이미지
allew

작성한 질문수

Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기

질문이 있습니다!!

작성

·

358

0

하둡 서버를 실행시키면 secondary namenodes가 계속 켜지지를 않습니다... 어떻게 해야할까요??

 

웹 사이트는

:9870, 8042 포트는 잘 들어가지는데 9864 포트는 접속이 안됩니다 ㅠㅠ

답변 4

2

Billy Lee님의 프로필 이미지
Billy Lee
지식공유자

안녕하세요. 유현민 님에게

하둡을 설치하는 과정에서 많은 에러를 발생시킵니다. 그러나 차근히 하면 잘 소화할 줄 압니다.
저도 처음에 설치하는 과정에서 하둡 클러스터 (물론 1 server 기준) 에러를 발생했죠.
수강생 중에도 이러한 에러로 고생하여 잘 잡아주었죠.

보내주신 캠쳐를 보았을 때 잘 따라온 것을 환영합니다. 힘든 길이죠.

1. 우선 hadoop-env.sh 자바 구현 제작을 위한 파일을 열어 제 파일과 동일한 지 살펴봐야 합니다.
물론 자바 설치 홈 디렉토리가 같다면 동일해야 하고 다르면 다른 곳의 경로를 확인하시고,


2. core-site.xml 열어 하둡 핵심 모듈의 property 두 개 경로를 추가했는지, 그래서
템프 (temp) 디렉토리 hdata 경로를 추가했고, 만들었는지 확인해야 합니다.

 

3. hdfs-site.xml 파일을 열어 해당 디렉토리 경로 내용을 확인하세요. 또한 추가한 부분도 동일한 경로로 되어 있는지 알아보세요.

namenode 와 datanode 디렉토리를 새로 생성 (mkdir) 했나요? 

경로는 home/neuavenue/hadoop/hdfs/namenode 

home/neuavenue/hadoop/hdfs/datanode 
이 두 개 디렉토리를 생성해야 합니다.  

4. mapred-site.xml 파일도 열어 네 개의 속성(Property) 지정했는지 확인하세요.
             해당 경로가 로컬 파일 시스템의 설치된 경로와 동일한지 점검하세요.

5. yarn.xml 파일을 열어 두 개 속성을 넣었는지 확인하세요.

모두 제 강의에 올린대로 잘 하신다면 어려움은 없을 거라 생각됩니다.

 

만약 모든 내용이 정상적으로 문제 없다면 다시 hadoop namenode -format 로 네임노드를 포멧하셔야 합니다. 안되면 아무래도 처음부터 자바 설치와 하둡 설치를 다시 해보세요. 

안된다면 위의 모든 내용들을 캠쳐해서 공유하시면 문제점을 찾아드리죠. 

토론토에서 응원합니다. 
빅데이터 전문가 되시길 ..
빌리 올림

1

Billy Lee님의 프로필 이미지
Billy Lee
지식공유자

유현민 님에게

 

오! 열공 대단합니다. 수강생 분들 중 간혹 포멧을 하지 않거나 다른 과정을 넘어가서

하둡 설치와 세팅에 문제가 생깁니다. 설치 및 세팅 프로세스를 잘 타고 오셨다니

앞으로 남은 강의 역시 잘 소화하시고 하둡 및 빅 데이터 전문가로 우뚝 서기를 

간절히 원합니다.

멀리 캐나다에서 응원합니다.

토론토

빌리 올림

1

Billy Lee님의 프로필 이미지
Billy Lee
지식공유자

안녕하세요.
유현민 님에게

보내주신 캠쳐로는 에러를 찾을 수 없네요.. 


위에 올리신 캡쳐 말고 /etc/environment

그리고 hadoop configuration files 4 개 파일 

또한 bashrc 파일까지 몽땅 캠쳐해서 주세요..

datanode 가 깨진 듯합니다.

멀리 캐나다 토론토에서 

빌리 올림.

 

allew님의 프로필 이미지
allew
질문자

데이터노드 포맷을 안해서 그런거였습니다!! 해결했습니다 감사합니다.

0

allew님의 프로필 이미지
allew
질문자

해결했습니다!! 감사합니다!!

allew님의 프로필 이미지
allew

작성한 질문수

질문하기