EC2インスタンスのメトリクスを、EKSのMimirを通してS3に保存する

要件

EC2インスタンスのメトリクスを、EKSのMimirを通してS3に保存する

タスク

• EC2インスタンスのメトリクスを、EKSのMimirを通してS3に保存する

• 以下の画像のようにメトリクスのデータがS3に保存されるようにする

S3に保存されたメトリクス

anonymasに保存されているファイル

• 以下のような構成のものを作成して、EC2のメトリクスをS3に保存する

作成するものの簡略化したイメージ図

参考記事

▼何だかんだまずはドキュメントですね！

Run Grafana Mimir in production using the Helm chart | Grafana Labs Helm charts documentation

▼上記の簡略化したイメージ図ではMimirインスタンスと書いてしまいましたが、実際のアーキテクチャーは以下を参考にして頂けると良いです！

About the Grafana Mimir architecture | Grafana Mimir documentation

▼thanosではなく、VictoriaMetricsでもなく、なぜMimirを使うのか
https://tech.loveholidays.com/grafana-mimir-our-journey-towards-infinite-wisdom-with-5m-active-time-series-7a262ba53a3f

▼Mimir 分散アーキテクチャ

Mimir 分散アーキテクチャ

ソースは、以下のURLです　わかりやすい！！

Grafana Mimir and VictoriaMetrics: performance tests

学べること

• S3にメトリクスを保存する方法

• S3にメトリクスを保存することでコストを抑える方法

ヒント

自分がmimirのyamlファイル

rbac:
  create: false

serviceAccount:
  name: mimir-sa
  annotations:
    eks.amazonaws.com/role-arn: "arn:aws:iam::xxxxxxxxxxxx:role/mimir_s3_role"

mimir:
  structuredConfig:
    common:
      storage:
        backend: s3
        s3:
          region: ap-northeast-1
          bucket_name: metrics-bucket-from-prometheus
          endpoint: s3.ap-northeast-1.amazonaws.com

minio:
  enabled: false

ruler:
  enabled: false

alertmanager:
  enabled: false

nginx:
  # -- Specifies whether nginx should be enabled
  service:
    # -- Port on which the Service listens
    port: 80
    # -- Type of the Service
    type: LoadBalancer

ハマりポイント

• S3にメトリクスが保存されるは時間がかかる(※自分は以下のメトリクスが保存されるまで、起動してから3時間かかった)

anonymasの中のファイル

関連タグ

#mimir   #s3 #メトリクス #EKS #kubernetes #grafana