인프런 커뮤니티 질문&답변

안녕하세요! "zpzgmain"님

문제 해결이 빨리 안되서 답답 하시겠지만...좋은 경험이니..꼭! 해결해 보시죠!!! ^^;;

지금 2개의 데이터 노드가 모두 Dead Lock 상태 입니다.

더군다나 Safe Mode로 전환 되어 보내 주신 스크린샷의 내용으론 판단이 어려운 상태 입니다.

차근차근 원인을 찾아 봐야 할 것 같은데요..

우선 Safe 모드를 빠져 나오는지 아래 명령 해보시고요,

$ hdfs dfsadmin -safemode leave

다음 명령을 했을때 "Safe mode is OFF"로 표기가 되야 합니다.

$ hdfs dfsadmin -safemode get

그리고 아래의 HDFS 점검 명령 부탁드리고요..

$ hdfs fsck /

이렇게 3개 명령결과 확인해 주세요~ -빅디 드림

네~ 확실히 디스크 공간 문제인 것 같습니다. ㅠㅠ

이미 VM에 할당된 30GB의 디스크 공간을 모두 사용해서 더이상 실습이 어려운 상황입니다.

문제가 되는 디렉토리는...

보내주신 du 명령의 캡쳐 이미지를 보면 /dfs 디렉토리의 사이즈가 12GB로 지나치게 큽니다.

해당 경로는 하둡의 파일 시스템의 저장 위치인데요,

마지막까지 파일럿 프로젝트 정상 완료 했다면, 해당 공간의 사용률은 보통 3GB 수준입니다.

아직 파일럿 프로젝트 중반인데 벌써 12GB인건...실습 외에 추가 작업 및 설정이 있었던 거로 보입니다.

아니면...너~~~무 테스트를 열심히 많이 해서, 실습 파일들이 엄청나게 생성 됐거나요...^^;;;

우선 Server02에 접속해서 아래 2개의 명령 결과 부탁 드리고요..

$ hadoop fs -du -h /

$ hdfs dfsadmin -report

추가로 파일럿 실습 외에 추가적인 HDFS 작업 및 복제계수 3이상 등의 변경 테스트 후, 해당 설정 및 파일들을 삭제 하지 않았는지도 확인해봐 주세요~

-빅디 드림

네~ 어려운 난관에 부딪쳤네요...TT

하지만 잘 해결 될 겁니다. 참고로 실제 프로젝트를 하다보면,

이와같은 문제들을 해결 해야 하는 경우가 정~~~말 많습니다. ^^;;

혹시 고사용 3VM을 사용 하고 계시는지요?! 요건 한번 확인 부탁드리고요...

보내주신 로그상에서만 보면 우지의 Shared 라이브러리를 HDFS의 /user/oozie 경로에 Put 하다가 타임아웃(270초)이 발생 하는 것으로 보입니다.

설치중 해당 경로에는 Oozie에서 다루는 다양한 라이브러리들(Hive, Spark, Yarn, Impala 등)이 올라 가는데, 이때 전체 라이브러리 업로드가 완료 되기 전에, 파일럿 주변 환경의 영향으로 타임아웃이 발생 할 수 있습니다.
(참고로 제공드린 VM으로, 저의 PC환경에서 Oozie 설치 테스트시에는 문제가 발생 하지 않았습니다.)

그래서...타임아웃 제약사항을 없애고 아래 내용으로 조치해 보겠습니다~

1. CM 홈에서 설치 중단된 Oozie를 선택 > 상단의 "구성" 메뉴 선택 > 검색에 "ShareLib" 입력

2. 검색결과에 Oozie Upload ShareLib 명령 시간제한에 "270" --> "0" 으로 변경

3. 우측 하단의 변경 내용 저장

4. 좌측 상단의 Oozie > 작업 > Oozie ShareLib 설치
   

요렇게 해서 수동으로 SharedLib를 설치 해봐 주세요!! - 빅디 드림

네~ 디스크 공간 부족은 영향을 줍니다. ㅠㅠ

런타임중에 디스크에 대한 의존성이 많고, 특히 메모리 스왑을 위해 디스크에 여유 공간이 있어야 합니다.

현재 Server01, Server03의 디스크 상황으로 봤을땐, 설치 작업은 물론 데이터 처리 작업이 어려운 상황입니다.

방법은 2가지가 있는데요..

1. VirtualBox에서 할당한 VM의 디스크 용량을 증설

2. VM 서버에 접속해 불필요한 파일을 삭제

1번은 구글에서 VirtualBox 디스크 용량 늘리기로 조회 하면 많은 자료가 조회 되는데요..다소 설정이 복잡하고 PC 환경에 따라 잘 안되는 경우도 있어 비추 입니다.

현재 zpzgmain님은 파일럿 프로젝트 상황에선 조금의 디스크 용량만 확보하면 될 것 같아 2번을 추천 드립니다.

아래 절차대로 진행해 보세요~

1.Putty로 Server01에 접속 해서 미사용 parcel 파일 삭제

#아래 명령으로 해당파일 삭제하여 2GB 용량 확보

$ rm -rf /opt/cloudera/parcel-repo/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el6.parcel

2.Server01/02/03에 각각 Putty로 접속해 지난 로그파일 삭제

#Cloudera-scm-server 로그파일 삭제

$ rm -rf /var/log/cloudera-scm-server/*

3.Server02에 접속해 Storm, Redis 등 설치 파일들 삭제

$ rm -rf /home/pilot-pjt/redis-5.0.7.tar.gz

$ rm -rf /home/pilot-pjt/apache-storm-1.2.3.tar.gz

$ rm -rf /home/pilot-pjt//zeppelin-0.8.2-bin-all.tgz

$ rm -rf /home/pilot-pjt/apache-mahout-distribution-0.13.0.tar.gz

4. Hue의 HDFS 브라우져를 실행해, 하둡에 불필요하게 생성한 테스트 파일이 있으면 삭제

1~4번을 진행해 주시고, CM을 재시작해 주세요!!! - 빅디 드림

네~ 우지 설치중 메모리가 부족 현상이 발생한 것으로 보입니다. ^^;;;

아래같이 조치해봐 주세요~

CM 홈에서요...

1. 우지를 삭제

2. 메뉴 하단에 보시면 Cloudera Management Service 가 있습니다. 여긴 모두 정지
   (모니터링이 필요할때만 켜시면 됩니다. 리소스를 많이 차지 합니다)

3. HBase 정지
   (HBase가 필요할때만 켜시면 됩니다. 리소스를 많이 차지 합니다.)

4. 우지 재설치

   -빅디 드림

ps. 추가로 지금 사용중이신 PC의 메모리가 얼마나 되는지요??!!

저자님, 답변에 무척 감사드립니다.

postgresql에 문제가 있는 것 같아서 거기에 주안점을 두고 찾아 가고 있었던 참이이었습니다.

PC Memory: 24GB 이고,,

Server01:9GB, Server02:9GB, Server03:4GB로 변경하고 모니터하고 있는 상태입니다.

서버 재시작, 필요없는 패키지 중지 작업을 했습니다만, 경고 메시지를 중심으로 원인을 찾고 있습니다.