인프런 영문 브랜드 로고
인프런 영문 브랜드 로고

인프런 커뮤니티 질문&답변

K MJ님의 프로필 이미지

작성한 질문수

15일간의 빅데이터 파일럿 프로젝트

7.분석 파일럿 실행 5단계 - 03. 스마트카 고객정보 군집 (중)

Unhealthy Node 때문에 Accepted 상태에서 Running 상태로 넘어가지 않습니다.

해결된 질문

작성

·

333

0

안녕하세요 강사님. 강의 잘 듣고 있습니다.

해당 강의에 나오는Hive Query를 실행시켰습니다.

진행 중에 MapReduce가 Accepted에서 Running으로 넘어가지 않습니다.

저사양 파일럿 환경이라 Node를 1개만 사용하고 있는데,

사용중인 1개의 노드가 Unhealthy라서 동작하지 않는 것으로 보입니다.

  • 누군가 리소스를 점유하고 있는 것은 아닌지
  • default queue의 리소스가 여유로운지

위의 두 요소를 살펴보았는데, 현재 MapReduce에 할당된 것이 없습니다. (MapReduce에 실행 중이라고 뜨는 것이 이 Hive Query의 MapReduce 동작 이외에 없음)

136393006-e584f657-5b9a-4dd2-b393-fb9157e257c2.png (1703×643)

 

다음과 같이 나옵니다.

 

- /etc/hadoop/conf의 yarn-site.xml을 건드려보려고 했는데, 정확히 어떤 것을 건드려야 할지 몰라 멈춰있는 상태입니다.

 

혹시 어떤 방법이 있을지 궁금합니다.

감사합니다

답변 1

0

Big.D님의 프로필 이미지
Big.D
지식공유자

안녕하세요! 빅디 입니다.

디스크와 힙메모리의 사용량이 의심스러운 데요..

우선 아래 명령어로 Server02에 접속하셔서 디스크 여유 공간을 확인해봐 주세요~

$ du -h

- 빅디 드림

K MJ님의 프로필 이미지
K MJ
질문자

pilot-pjt 디렉토리 : 3.8G, 

/ (root directory) : 24G

를 사용하고 있습니다.

 

여유 공간 부족으로 보입니다.

확장하는 방법에 어떤 것이 있나요?

Big.D님의 프로필 이미지
Big.D
지식공유자

네..디스크 공간을 조금만 더 확보하면 문제 없을듯 합니다.

우선 다운로드후 설치가 끝난 아래 설치 파일들을 삭제해서 디스크공간을 확보해 주세요.  

/home/pilot-pjt/redis-5.0.7.tar.gz 

/home/pilot-pjt/apache-storm-1.2.3.tar.gz

/home/pilot-pjt/zeppelin-0.8.2-bin-all.tgz

/home/pilot-pjt/apache-mahout-distribution-0.13.0.tar.gz

- 빅디 드림

ps. 그리고 가상 이미지의 디스크를 늘리는건 꾀나 손이 많이 가는 작업입니다. 구글링에서 "virtualbox 디스크 용량 늘리기"로 찾아 보시면 되는데요, VirtualBox와 리눅스 버젼에 따라 방식에 있어 조금씩 차이가 있기도 합니다.

K MJ님의 프로필 이미지
K MJ
질문자

 VirtualBox에서 찾아보니 설정 변경이 안되는 줄 알았는데 변경할 수 있었네요.

감사합니다.

 

K MJ님의 프로필 이미지

작성한 질문수

질문하기