Grafana Mimirのアラートルールを設定して、Grafanaでアラートルールを表示させる

toshi

2023年4月29日 08:57

要件

Grafana Mimirのアラートルールを設定して、Grafanaでアラートルールを確認できるようにする。

タスク

Grafana Mimirのアラートルールを設定して、Grafanaでアラートルールを確認できるようにする
MimirのRulerの設定を登録するためのS3バケットを作成する
以下のようにMimirのアラートルールをGrafanaで表示させる

Mimirのアラートの設定の仕方はGrafana Mimirtoolで設定する。(※helmでmimirをプロビジョニングしたタイミングでRulerを設定する方法は今の所なさそう….)

参考記事

▼ Rulerの設定をs3に保存する方法（まずはドキュメント）

▼まだgrafana立ち上げでruleを反映させる方法ないのかも、、mimirも然り

▼grafanaでアラートルールを管理する便利さが分かります！！

▼Mimirのアラートの評価に関して、コメントで書いてある！

▼prometheusみたいに、mimirのプロビジョニングのタイミングでrulerを設定することは難しそうだな、、

▼mimirtookの使い方

学べること

grafanaでアラートルールを設定する方法
mimirのアラートルールを設定する方法
mimirのルールをS3に保存する方法
mimirtoolの使い、rulerを設定する方法

ヒント

MimirのRulerがS3のstorageを参照するように設定

mimir:
  structuredConfig:
    common:
      storage:
        backend: s3
        s3:
          region: ap-northeast-1
          bucket_name: metrics-bucket-from-prometheus
          endpoint: s3.ap-northeast-1.amazonaws.com
    ruler_storage:
      s3:
        bucket_name: mimir-ruler-bucket-sample

Mimirtool をインストール

brew install mimirtool

現在登録してあるMimirのrulesを取得

mimirtool rules print --address <mimir-nginxのURL> --id anonymous

アラートルールをmimirに登録する方法

mimirtool rules load ./mimir-alert-rule.yml --address <mimir-nginxのURL> --id anonymous

mimirに登録させるアラートルール　　mimir-alert-rule.yml

groups:
  - name: monitoring
    rules:
      - alert: mimir_alerts
        expr: up{job="ec2-sandbox-node-exporter"} == 0
        for: 1m
        labels:
          severity: critical
        annotations:
          title: '{{ $labels.instance }} が停止'
          summary: "node-exporterが1分以上、停止しています"

アラートのルールのnamespaceとRule Groupの表示
※namespaceはアラートルールのファイル名になるみたいだね

mimirtool rules list --address <mimir-nginxのURL> --id anonymous

不要なアラートルールの削除

mimirtool rules delete namespace group名 --address http://a88a0a87b098845d39e36ecb82a65526-2007599548.ap-northeast-1.elb.amazonaws.com --id anonymous

Grafana Mimirのアラートルールを設定して、Grafanaでアラートルールを表示させる

要件

タスク

参考記事

学べること

ヒント

関連タグ