인프런 커뮤니티 질문&답변

안녕하세요. 배운 내용을 가지고 회사에서 prometheus를 잘 활용하고 있습니다. 다만 막힌 부분이 있어 문의를 드립니다.

Prometheus operator로 prometheus 와 alertmanager가 잘 연계되어있는지 확인하는 방법을 문의드립니다.

코드 첨부가 어렵지만, 간단하게 말씀드리면,

1. prometheus operator를 통해 prometheus A 와 alertmanager X를 띄우고 연결이 잘되어 있는 상황 (alertmanager X ui에서 a의 prometheusrules로 정의한 값의 firing 된 것을 확인 가능함 -> ui)

2. prometheus operator를 통해 prometheus B를 띄우고 이 B도 alertmanager X를 이용하려고 했으나, B의 prometheusurule로 정의한 값이 firing 되어도 alertmanager X UI에 값이 나오지 않음.

이런 상황입니다. 기존 A가 연결된 alertmanager X에, 추가로 Prometheus B를 연결하고 싶습니다.

이 부분에 대해서 제가 확인한 것은,

1. prometheus B를 띄우고 edit으로 prometheus 값 수정 (config reload가 설정되어있음)

alerting:
  alertmanagers:
  - apiVersion: v2
    name: ~ // alertmanager 이름 입력 (service 명), 기존 잘 연결된 A와 동일한 값
    namespace: ~~ // alertmanager X 의 namespace 입력, 기존 잘 연결된 A와 동일한 값
    pathPrefix: /
    port: http-web

2. 현재 같은 클러스터, namespace에 존재

3. PrometheusRule 로 생성한 Rule이 Prometheus B의 UI Rule 메뉴에서 정상적으로 firing 된 것을 확인

4. prometheus B의 pod에 log를 확인. -> 해당 로그에 alert이라는 값이 존재하지 않음

5. 기존에 연결되어 있던 prometheus A의 config 설정의 alerting 부분과 설정은 동일함.

    

위 와 같은 상황이며, alertmanager X UI에 B에서 firing 된 값이 나오지가 않습니다.

혹시 제가 놓친 부분이 있는지, 아니면 잘 연결이 되어 있는지 추가적으로 더 검사할 방법이 있을까요?