인프런 커뮤니티 질문&답변

elvishan2008님의 프로필 이미지
elvishan2008

작성한 질문수

Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기

hadoop 명령 put 실패

작성

·

748

0

안녕하세요. 

현재 하둡 제너럴[3] : 하둡 파일 시스템 쉘 명령어 (Hadoop File System Shell Commands) 3강 

하둡 명령어 - FS(Files System) Shell : put, copyFromLocal, get, copyToLocal 1분에 하는 하둡 명령 put이 실패하여 남깁니다. 

jps 명령어 시  노드와 resource manager가 활성화 된 것까지는 확인하였습니다. 하둡 명령어도 

폴더 생성과 텍스트 생성은 되나 hadoop fs -put /etc/xml /user/etc 할 시에 

hdfs.DataStreamer: Datastramer Exception

org.apache.hadoop.ipc.RemoteException(java.io.IOException): .. could only be replicated to 0 nodes instead of minReplication (=1).

오류가 발생합니다. 확인해보니 

hdfs dfsadmin -report 를 쳐보니

사용가능한 노드들이 없습니다. 혹시 해결책이 있을까요?

답변 1

0

Billy Lee님의 프로필 이미지
Billy Lee
지식공유자

안녕하세요. elvishan2008님

미루어 짐작컨대, HDFS 유틸라이제이션 (HDFS Utilization) 활용을 많이 잡아 먹었던지 혹은 노드 수가 없을 수도 있겠네요.

하둡 홈 폴더로 이동하신 뒤 hdfs dfs -df h 명령어를 던져보세요.

 

 

 

저도 같이 보내주신 명령어를 던지니

위의 그림처럼 자세한 사항이 나오네요..

노드네임 프로세스가 중단되었거나 에러가 있는 듯 하네요.. 

하둡 설치하는 과정 중

모든 데몬을 정지하신 뒤

hadoop namenode -format 을 다시 하시면서 하둡 설치 마지막 단계를 점검하신 뒤

데몬을 시작하여 해보세요...

참고로 데몬이 정지되었는지 확인하시고요.. 
과정을 스넵샷하시면서 안되면 과정을 보여주세요.. 

한국의 하둡 전문가가 되시길 바랍니다.
토론토에서 응원합니다.

elvishan2008님의 프로필 이미지
elvishan2008
질문자

답변 감사드립니다. 퇴근 후 진행해보도록 하겠습니다. 만약 안되면 한국시간 저녁에 모든 과정 캡쳐해서 진행해보도록 하겠습니다. 모든 프로세스 stop한 후 hadoop namenode -format 도 진행하였을 때도 진행이 되지 않더라구요. 만약 다시 되지 않는다면 캡쳐해서 질문글을 작성하도록 하겠습니다~ 감사합니다!

elvishan2008님의 프로필 이미지
elvishan2008

작성한 질문수

질문하기