인프런 커뮤니티 질문&답변

hspark1님의 프로필 이미지
hspark1

작성한 질문수

쿠버네티스 어나더 클래스 (지상편) - Sprint 1, 2

📝 모니터링 설치 - Loki-Stack (💻 실습포함)

프로메테우스 로그에 no data

작성

·

110

1

  • 실습에 문제 발생 시 최대한

    image.png

    캡쳐 화면을 꼭 올려 주세요. (원인 파악에 도움이 큽니다)

  • 영상 내용 질문 시 해당 영상 제목과 내용이 있는 시간을 같이 올려주세요. (내용을 다시 들어보고 답변을 드리기 위해서 입니다)

  • 긴 로그는 제 메일로 보내주세요. (k8s.1pro@gmail.com)

  • 카페 [강의 자료실]에도 많은 질문과 답변들이 있어요!

cafe: https://cafe.naver.com/kubeops

설정다잘되었는데 이상하게 cpu쪽에서 데이터를 불러오지 못해서 까페에서
이벨님의 글을 보고
Prometheus와 Loki-stack 설치 후 grafana에서 loki-stack datasource 연결은 정상적으로 완료했는데,
대시보드를 확인할 때 모든 대시보드에서 no data가 뜹니다.
kubectl get pod -A로 확인했을 때 모든 파드가 Running 되고 있고 Restart도 모두 0입니다.
한가지 의심되는 점은 쿠버네티스 대시보드에서 클러스터 이벤트 로그를 보니까
loki-stack이랑 prometheus에서 사진과 같이 unhealthy가 무진장 뜹니다...
해당 문제는 어떻게 해결할 수 있을까요?

systemctl restart chronyd.service

해봤지만 제경우에는 안되더라구요 그래서 저도 프로메테우스 대시보드 들어가볼려고 clusterip를 변경해서 접근해볼려고했지만 잘안되네요 ㅜ 혹시 어떤점이 문제일까요? 일단저같은경우는 가상머신으로 하지않고 rocky linux 홈서버에서 작업하고있습니다.

답변 3

2

일프로님의 프로필 이미지
일프로
지식공유자

아 설치 버전이 다르시군요. 보내신 메일에서 처럼 Grafana에서 일부 데이터 값이 안나오는 경우는 화면에서 지정된 메트릭이 실제 서버에서는 수집되지 않을 경우 그렇습니다.

그리고 수집되는 값들은 쿠버네티스와 Premethues에 따라 다를 수가 있어요.

현재 제가 설치한 모니터링들(grafana, promethues, loki)은 모두 쿠버네티스 1.27 버전에 호환되는 버전들로 설치가 된 거고요. 쿠버네티스 버전이 다를 경우 강의 상황과 충분히 달라질 수 있습니다.

현재 상태에서는 1.30에서 변경된 메트릭 값을 찾아야 하는데, 이건 어려울 수 있을 것 같고.

https://grafana.com/grafana/dashboards/

여기서 필요한 대시보드를 별도로 받는 게 좋을 것 같네요.

하지만 여기에도 다양한 대시보드들이 있고, 지원되는 버전이 다르기 때문에 여러개를 설치해봐야합니다. 그만큼 최신 버전의 쿠버네티스를 사용하는 데에 따르는 노고가 좀 있다고 보시면 되요.

hspark1님의 프로필 이미지
hspark1
질문자

음 kube-prometheus 에서 포크받아서 설정 맞춰서 해도 안되네요 1.30 버전과 호환되는 버전도 안되고있긴 하네요 일단 좀더 살펴보고있겠습니다! 대시보드도 시도해보겠씁니다 감사합니다!

1

일프로님의 프로필 이미지
일프로
지식공유자

안녕하세요.

설치 이후 어느 정도 메트릭이 쌓여야 조회가 되긴 하거든요. 현재 한 시간 동안의 메트릭 정보를 조회하도록 되 있는데, 충분히 시간이 지났는지? 그렇지 않으면 시간을 5분 정도로 한번 줄여보세요.

그리고 서버 전체를 재기동 하는 것도 한번 해보시고요.

가장 중요한 건 Grafana와 Prometheus 내부에 Pod로그를 보는 건데 확인 가능하실까요?

hspark1님의 프로필 이미지
hspark1
질문자

두서없이 적은점 죄송합니다 ㅠ 강의 너무 잘듣고 있습니다. 이메일로 제가 로그하고 내용 보냈씁니다 감사합니다!

hspark1님의 프로필 이미지
hspark1
질문자

제생각엔 로그는 문제가없는데 yaml 상 cpu 데이터를 어떻게 수집하고있나 그걸 봐야 될것같습니다 제가 환경이 좀달라서 kubernetes 1.30.5 라서 버전호환때문일것같기도합니다 ㅠ

1

안녕하세요, 인프런 AI 인턴입니다.

hspark1님, PrometheusLoki-stack 설치 후 Grafana 대시보드에서 데이터가 표시되지 않는 문제를 겪고 계신 것 같습니다. 이런 경우 몇 가지 확인해야 할 사항들이 있습니다. 유사한 문제를 겪었던 다른 학생들의 질문과 답변을 참고하시기 바랍니다.

  1. 데이터 소스 설정 확인: Grafana에서 데이터 소스가 올바르게 설정되었는지 확인하세요. PrometheusLoki-stack의 URL 및 설정이 정확해야 대시보드에 데이터가 표시됩니다.

  2. 네트워크 연결 확인: PrometheusLoki-stack이 제대로 실행되고 있는지, 그리고 네트워크 상에서 접근 가능한지 확인하세요. kubectl port-forward 또는 clusterIP 설정을 통해 직접 접근을 시도해 보세요. 이 방법이 잘 되지 않는다면 아래 링크들을 참고하시면 좋습니다.

  3. Pod 로그 확인: kubectl logs <prometheus-pod-name> 명령어를 사용하여 Prometheus Pod의 로그를 확인해 보세요. 로그에서 에러 메시지를 확인하면 문제를 더 구체적으로 파악할 수 있습니다.

  4. 시스템 동기화 확인: Chrony 또는 NTP를 구성하여 서버 시간 동기화가 제대로 되어 있는지 확인하세요. 시간 동기화 문제가 있을 경우 Prometheus 데이터 수집에 문제가 발생할 수 있습니다.

  5. 네임스페이스 적용 확인: kubectl get pods -n <namespace> 명령어로 특정 네임스페이스에 있는 Pod들을 확인해 보세요. 모든 네임스페이스에서 리소스를 제대로 가져오고 있는지 확인이 필요합니다.

다음 링크에서는 대시보드와 관련된 문제 해결 방법들을 확인할 수 있습니다:
- “대시보드 안되네요”: 대시보드 설치 후 데이터 표시와 관련된 문제 해결 방법입니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

hspark1님의 프로필 이미지
hspark1

작성한 질문수

질문하기