인프런 커뮤니티 질문&답변

공부벌레님의 프로필 이미지
공부벌레

작성한 질문수

15일간의 빅데이터 파일럿 프로젝트

5.빅데이터 클러스터 구성 2 - 기본SW(하둡, 주키퍼 등) 설치

컴퓨터 사양 관련

작성

·

383

0

안녕하세요.

제가 지금 하둡, 주키퍼를 설치하려고 하는데요.

버추얼박스 실행부터 버벅거립니다.

server02가 계속 일시정지되면서 컴퓨터가 버벅 거립니다.

컴퓨터는 그램15 / i5 / 램8기가(여유7.74) / 여유용량112기가 / ssd 사양으로 저사양으로 따라서 하고 있는데도 작동이 안됩니다.

램을 추가해서 늘려야 할까요?

답변 4

0

공부벌레님의 프로필 이미지
공부벌레
질문자

말씀하신대로 시스템 메모리를 낮췄더니 잘 설치가 되었습니다. 감사합니다.

그런데 이후에 다른 문제가 발생했습니다.

 

Big.D님의 프로필 이미지
Big.D
지식공유자

네~ 우선 기존문제는 해결대서 다행입니다. ㅎㅎ

그런데 비디오 메모리 말고, 만약 시스템의 기본 메모리를 줄이셨다면 지금 당장은 문제 되진 않지만, 이후 단계부터 가상서버의 메모리 부족 현상으로 문제가 발생할 수 있습니다. 참고 하시고요..

추가로 문의하신 내용에 대한 원인은..

하둡 설치를 여러차례 재시도 하면서 하둡 파일시스템이 Safe모드로 빠져 있거나 또는 하둡의 디렉토리(/dfs/nn)에 메타 정보가 꼬여 있는 경우입니다.

이런경우 /dfs 디렉토리를 아래 절차대로 삭제하고, 하둡 재설치가 깔끔합니다.

1. Putty로 Server01, 02에 접속 /dfs 폴더 삭제

$ rm -rf /dfs

2. CM에서 YARN , HDFS 삭제후 > 재설치

 - 빅디 드림

공부벌레님의 프로필 이미지
공부벌레
질문자

비디오 메모리만 줄이고 처음부터 재설치를 했는데요.

에러 없이 잘 끝났습니다:)

빠르고 친절한 답변 너무 감사합니다!!

0

공부벌레님의 프로필 이미지
공부벌레
질문자

안녕하세요.

확인해보니 메모리 설정 오류인 것 같습니다.

설정에서 메모리를 늘려봤는데도 안됩니다 ㅠㅜ

Big.D님의 프로필 이미지
Big.D
지식공유자

안녕하세요! "knows data"님!

음..원인은 메모리 설정 오류 보단, 호스트(파일럿 PC)의 물리적인 여유 메모리 부족 현상으로 보입니다.

 Server01/02에 설정 된 메모리 크기가, 파일럿 PC의 물리적 메모리 크기를 넘은것 같습니다.

설정의 "디스플레이 > 화면 > 비디오 메모리" 또는  "시스템 > 마더보드 > 기본 메모리" 이 두곳중에 PC의 비디오 또는 기본 RAM의 물리적 메모리를 넘은 설정이 있으면 발생 하는데요..

이때는 메모리를 늘리는게 아니라 반대로 줄여 보셔야 합니다. Server01/02 두곳에서 해당 메모리 크기를 줄여 보시기 바랍니다.

참고로 가성서버 01/02는 비디오 메모리를 거의 사용하지 않기 때문에 아주 작게 잡으셔도 됩니다. ^^

- 빅디 드림

0

공부벌레님의 프로필 이미지
공부벌레
질문자

pc 전체 포맷을 하고 처음부터 다시 진행해봤는데요.

똑같은 에러가 발생합니다.

클러스터 설치 과정에서 문제가 발생하는데요.

컴퓨터 사양 문제가 맞을까요??

Big.D님의 프로필 이미지
Big.D
지식공유자

음....요건 단순 PC사양 문제 같지는 않습니다. ㅠㅠ

위에 보여주신 이미지에서..

"VirtualBox - 오류" 창의 하단에 "자세한 정보"를 내려서,

해당 내용을 캡쳐해 올려봐 주시고요,

그전에, 아래 테스트도 부탁 드립니다.

HDFS와 주키퍼를 Server01로 몰빵해서 설치해봐 주세요!

설치중 "역할 할당 사용자 지정" 단계에서  설치 위치를 Server02에서 Server01로 지정 하면 됩니다.

- 빅디 드림

0

Big.D님의 프로필 이미지
Big.D
지식공유자

안녕하세요! 빅디 입니다.

빅데이터 파일럿 환경구성까지 잘진입 하셨네요!!

시작이 반이니깐 잘 마무리 될겁니다.

말씀하신 파일럿 PC의 사양만 놓고 봤을땐 저사양 기준으로 실습을 진행 하시는데는 문제 없어 보입니다.

물론 메모리를 늘리면 좀더 쾌적한 환경에서 파일럿을 진행 하실수는 있는데요..추가적인 시간과 돈이 드니깐요..^^;;

그전에 아래 사항들로 조치해 보고 진행해 보는것을 추천드립니다.

1. 테스트 PC엔 파일럿용 프로그램을 제외한  모든 응용프로그램을 중지합니다. 

2. CM 홈에서, 좌측 하단의 Cloudera Mangement 서비스를 종료 합니다. 이때 모니터링 기능은 정지 됩니다.

3. 만약 하드디스크가 2개로 분리 되어 있다면, OS가 설치 안된 디스크는 포맷하고, VM이미지 파일을 포맷된 디스크로 이동시켜서 버추얼박스에서 새롭게 임포트 합니다.

요거 해보고 안되면 PC전체  포맷 또는 메모리 증설을 해보세요~

- 빅디 드림

공부벌레님의 프로필 이미지
공부벌레

작성한 질문수

질문하기