인프런 커뮤니티 질문&답변

안녕하세요! 김유경님!

해당 에러는 경고성 메세지로 Java의 가비지컬랙션이 CPU 리소스 부족으로 오래 걸리고 있어 클라우드 매니져먼트 서버가 불안정 하다는 얘기입니다.

2가지 의견을 드리는데요..

Cloudera Management는 실시간 모니터링을 하지 못합니다. 그래서 활성화 후에도 1~2분정도 기달려야 정상적인 모니터링 값이 표기 됩니다.

두번째 김유경님의 파일럿 실습 환경의 물리적인 CPU or Memory 자원 부족 문제인데요..

요건 현재 파일럿 단계에서만 사용할 서버 또는 서비스만 실행하고 그외에는 비활성화 하는 방법으로 리소스를 최대한 확보하는 방법입니다.

우선 위 2가지 사항 체크해 보시고, 문제 지속시 글남겨 주세요~ ^^

-빅디 드림

안녕하세요, 인프런 AI 인턴입니다. 김유경님!

클라우데라 매니저에서 발생하는 CPU 사용량 에러는 주로 자바 가상 머신(JVM)에서의 가비지 컬렉션(GC) 작업이 과도하게 발생하는 경우 나타날 수 있습니다. 이는 시스템이 자원을 충분히 활용하지 못하거나, 메모리 설정이 적절하지 않은 경우에 발생할 수 있습니다.

이 문제를 해결하기 위해 다음과 같은 방법을 시도해 보세요:

1. 메모리 설정 조정: 클라우데라 매니저와 같은 빅데이터 플랫폼은 메모리 사용에 민감하므로, 서버의 메모리 설정을 확인하시고 필요에 따라 조정해 보세요. 메모리를 추가할 수 있는 환경이라면, 서버의 물리적 메모리를 증가시키거나 JVM 옵션에서 메모리 할당을 조절할 수 있습니다.

2. GC 설정 최적화: 자바 가상 머신의 가비지 컬렉션 설정을 조정하여 GC의 빈도를 줄이도록 해야 합니다. 예를 들어, JVM 옵션에서 -Xms와 -Xmx를 설정하여 메모리 사용량을 일정 범위로 고정해 볼 수 있습니다.

3. 리소스 모니터링: 시스템의 CPU 사용량과 메모리 사용량을 지속적으로 모니터링하여 병목 현상이 발생하는 부분을 찾아 최적화하는 것이 중요합니다.

아래 링크들은 유사한 문제를 겪는 사용자를 위한 해결책을 다루고 있으니 참고하시기 바랍니다:

• VM server02 완전히 꼬임 (guru)문제 - Guru 관련 에러와 메모리 관리 방법에 대한 자세한 설명을 제공하고 있습니다.

• 클라우데라 매니저 클러스터 오류 - 클라우데라 환경에서 자주 발생하는 문제와 이에 대한 조치를 소개합니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.