PrometheusとGrafanaの組み合わせでシステム監視している方々はアラートをどうしてますでしょうか？
Grafana Alertingの設定
GrafanaのAlertingの設定は殆どGrafana上でできるが、一部の基本的な内容だけはテキストファイルで行う。アラートの通知にメールを使うならSMTPの設定は必要。
[smtp]
enabled = true
host = mx.example.com:587
user = alertuser@example.com
password = hogehoge
;cert_file =
;key_file =
;skip_verify = false
from_address = alert-from@example.com
from_name = Grafana
上は外部SMTPサーバを使用する場合。ローカルのSMTPが使えるならlocalhost:25など。その場合はuserとpasswordは不要だと思われるので行頭に ; を付けてコメントにする。SMTPの設定は簡単そうで意外とハマるので気をつける。
設定ファイルを変更したらGrafanaを再起動する。
FreeBSDの場合。
# service grafana restart
以下はGrafana上で。
アラート発報条件の作製
既存のパネルにアラートを追加という方法もあるが、パネルによってはアラートを追加できなかったり意外と制限が多いので今回はアラート用に新しいダッシュボードとパネルを作製する。(ダッシュボードはどうでもいいけど)
これで、指定した条件が発生するとアラート通知が行われる。メール通知であればメールで、webhookならそれで通知が届くことを確認する。通知チャンネルの設定でDisable Resolve Messageのスイッチをオフにしていれば、アラート条件から回復した際にもそれぞれ通知が届く。
次はGrafana上でアラートの発生状態を確認できるようにする。
webhookの受け取り
webhookはどこかに用意したウェブサーバに受信用のスクリプトなりを置くだけ。ネットワーク的にGrafanaから到達できること。
<?php
$logFile = __DIR__ . '/webhook.log' ;
if ( $_SERVER [ 'REQUEST_METHOD' ] == 'POST' ) {
$data = file_get_contents ( 'php://input' );
$json = json_decode ( $data );
file_put_contents ( $logFile , print_r ( $json , true ), FILE_APPEND );
}
?>
$jsonが配列として取り出したもの。あとは煮るなり焼くなり好きにするだけ。上の例ではログファイルに出している。もちろんログにしたところで犬の糞ほども役にも立たない。取得した情報の確認用ね。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31 stdClass Object
(
[evalMatches] => Array
(
[0] => stdClass Object
(
[value] => 100
[metric] => High value
[tags] =>
)
[1] => stdClass Object
(
[value] => 200
[metric] => Higher Value
[tags] =>
)
)
[message] => Someone is testing the alert notification within grafana .
[ruleId] => 0
[ruleName] => Test notification
[ruleUrl] => http : //localhost:3000/
[state] => alerting
[tags] => stdClass Object
(
)
[title] => [ Alerting ] Test notification
)
これはNotification channelの設定画面のテスト送信のデータを受信したもの。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43 stdClass Object
(
[evalMatches] => Array
(
[0] => stdClass Object
(
[value] => 1.36397879464286
[metric] => node_load1 { instance = "192.168.41.158:9100" , job = "node_exporter" }
[tags] => stdClass Object
(
[__name__] => node_load1
[instance] => 192.168 . 41.158 : 9100
[job] => node_exporter
)
)
[1] => stdClass Object
(
[value] => 1.11364397321429
[metric] => node_load1 { instance = "192.168.41.239:9100" , job = "node_exporter" }
[tags] => stdClass Object
(
[__name__] => node_load1
[instance] => 192.168 . 41.239 : 9100
[job] => node_exporter
)
)
)
[message] => 何かメッセ ー ジ
[ruleId] => 1
[ruleName] => System Load alert
[ruleUrl] => http : //localhost:3000/d/GTd9zVyZk/alert-manager?fullscreen&edit&tab=alert&panelId=2&orgId=1
[state] => alerting
[tags] => stdClass Object
(
)
[title] => [ Alerting ] System Load alert
)
上で作成したロードアベレージのアラートはこんなの。
webhookでの通知を書いといてなんだけど、webhookで受け取るようにするとアラートの状態を管理する何かを作らないとアラート状態からの復帰時の処理が大変かもなので、webhookを受け取ったらGrafanaから curl http://grafana_user:grafana_password@grafana_server:3000/api/alerts/ でアラートのステータスを受け取る方が処理は簡単になるかも。(grafana_user, grafana_password, grafana_serverは自身のものに置き換え)
関連記事:
