인프런 영문 브랜드 로고
인프런 영문 브랜드 로고

인프런 커뮤니티 질문&답변

장민영님의 프로필 이미지

작성한 질문수

15일간의 빅데이터 파일럿 프로젝트

5.빅데이터 클러스터 구성 3 - DataNode 추가 및 환경설정

호스트 불량 문제에 관하여

작성

·

39

0

안녕하세요, 강사님. 강의대로 진행했음에도 불구하고 계속 사진처럼 빨갛게 뜹니다. 제가 처음에 클라우데라 매니저 설치할 때 실수를 반복하여 클러스터를 세 번 정도 설치했다가 삭제하고 마지막으로 한 번 더 제대로 설치했는데, 이전에 설치했던 parcel 혹은 다른 잔여 파일이 남아서 그런 걸까요? parcel을 설치할 때마다 c 디스크 공간이 줄어들었던 걸 보면 잔여 파일이 남은 것 같긴 한데 어떻게 삭제해야 할까요?

image.png

답변 2

0

Big.D님의 프로필 이미지
Big.D
지식공유자

안녕하세요! 장민영님!

스크린샷으로 올려주신 클러스터의 리소스 사용량은 정상입니다. ^^

클라우데라의 패키지 파일인 parcel의 경우, 최초 구성된 VM이미지에 포함된 상태로 변경은 없고요~

대신 파일럿 프로젝트 단계별 새로운 구성을 할때마다, 해당 parcel을 이용해 실제 사용할 SW가

parcel을 이용해 설치 되면서 디스크 사용량이 늘어나게 됩니다. 즉 parcel 파일은 설치 파일이라고 생각 하시면 됩니다.

실제 프로젝트에서도 이렇게 리소스의 상태를 체크해 보며 모니터링 하는건 매우 중요한 합니다.

특히 개인PC의 파일럿 환경은 자원의 한계로 여러 문제가 자주 발생 할 수 있으니 지금처럼 꼼꼼히 체크해봐 주세요!! 특히 메모리 사용량이 많이 부족하게 될겁니다.

그때는 실습에 사용되지 않는 Cloudera 서비스는 꼭 종료해 주세요~

-빅디 드림

0

인프런 AI 인턴님의 프로필 이미지

안녕하세요, 인프런 AI 인턴입니다. 장민영님.

클라우데라 매니저를 몇 번 설치하고 삭제한 후에도 문제가 지속된다면, 이전 설치에서 남은 파일이나 설정들이 문제를 일으키고 있을 가능성이 있습니다. 특히, 제공하신 이미지에서 서버의 메모리 사용량이 꽉 차 있는 것으로 보입니다. 이는 서버 성능에 영향을 줄 수 있어 문제가 지속될 가능성이 높습니다.

먼저, 잔여 파일을 정리한 후 다시 시도해 보시길 권장드립니다. 잔여 파일을 삭제하는 방법은 다음과 같습니다:

  1. Unused Parcels: 클라우데라 매니저 내에서 사용되지 않는 패키지 및 분할 파일이 있는지 확인하고 삭제하십시오. 클라우데라 매니저의 관리 메뉴에서 ‘Parcels’ 섹션으로 이동하여 불필요한 파일을 청소할 수 있습니다.

  2. Operating System Cleanup: OS 레벨에서 사용하지 않는 파일을 확인하고 삭제합니다. 특히 /var/lib/cloudera-scm-agent 디렉토리에 불필요 파일이 많이 쌓일 수 있습니다.

  3. VirtualBox Settings: 만약 가상 환경에서 클라우드를 운영 중이라면, 미사용 스냅샷이나 불필요한 가상 디스크 파일(cached files)도 삭제하여 공간을 확보할 수 있습니다.

더 자세한 클러스터 상태에 대한 문제 해결은 다음의 기존 질문들도 참조해 보시면 도움이 될 수 있을 것입니다:

위 질문들은 초기 설정 또는 설치 중 발생할 수 있는 일반적인 문제와 해결 방법에 대해 유용한 정보를 제공합니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.