1、Alertmanager簡介
Alertmanager是一個獨立的告警模塊，接收Prometheus等客戶端發(fā)來的警報，之后通過分組、刪除重復等處理，并將它們通過路由發(fā)送給正確的接收器；告警方式可以按照不同的規(guī)則發(fā)送給不同的模塊負責人，Alertmanager支持Email, Slack，等告警方式, 也可以通過webhook接入釘釘等國內IM工具
2、Alertmanager部署
1.下載Alertmanager
Alertmanager可以獨立部署在一臺服務器中，也可以部署在prometheus服務器。
官網下載地址：https://prometheus.io/download/
wget https://github.com/prometheus/alertmanager/releases/download/v0.21.0/alertmanager-0.21.0.linux-amd64.tar.gz
tar -zxvf alertmanager-0.21.0.linux-amd64.tar.gz -C /data
ln -sv /data/alertmanager-0.21.0.linux-amd64 /usr/local/alertmanager
2.配置Alertmanager
cd /usr/local/alertmanager
cat > alertmanager.yml << 'EOF'
global:
resolve_timeout: 5m
smtp_smarthost: 'smtp.163.com':25'
smtp_from: 'shd_stars@163.com''
smtp_auth_username: 'xxx@163.com'' #告警發(fā)送郵箱地址
smtp_auth_password: 'xxxxx' #授權碼！不是郵箱的登陸密碼
smtp_require_tls: false
route:
group_by: ['alertname'] # 分組標簽
group_wait: 10s # 分組等待時間，同一組內在10秒鐘內還有其它告警，如果有則一同發(fā)送
group_interval: 10s # 上下兩組間隔時間
repeat_interval: 300s # 重復告警間隔時間，間隔時間不要設置太短，容易出現告警轟炸
receiver: 'mail' # 接收者是誰
receivers: # 定義接收者，將告警發(fā)送給誰
- name: 'mail'
email_configs:
- to: 'xxx@163.com'' #接收郵箱地址
send_resolved: true #是否接收恢復信息，false|true
inhibit_rules:
- source_match:
severity: 'critical'
target_match:
severity: 'warning'
#確保這個配置下的標簽內容相同才會抑制，也就是說警報中必須有這三個標簽值才會被抑制。
equal: ['alertname', 'dev', 'instance']
EOF
配置文件的主要作用解釋：
- global: 全局配置，包括報警解決后的超時時間、SMTP 相關配置、各種渠道通知的 API 地址等等。
- route: 用來設置報警的分發(fā)策略，它是一個樹狀結構，按照深度優(yōu)先從左向右的順序進行匹配。
- receivers: 配置告警消息接受者信息，例如常用的 email、wechat、slack、webhook 等消息通知方式。
- inhibit_rules: 抑制規(guī)則配置，當存在與另一組匹配的警報（源）時，抑制規(guī)則將禁用與一組匹配的警報（目標）。
3.檢查Alertmanager配置文件
cd /usr/local/alertmanager
./amtool check-config alertmanager.yml
提示Checking 'alertmanager.yml' SUCCESS 即表示配置文件格式正常。
4.創(chuàng)建Alertmanager啟動文件
cat > /usr/lib/systemd/system/alertmanager.service << 'EOF'
[Unit]
Description=https://prometheus.io
[Service]
Restart=on-failure
ExecStart=/usr/local/alertmanager/alertmanager --config.file=/usr/local/alertmanager/alertmanager.yml
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl enable alertmanager.service --now
systemctl status alertmanager.service
可以通過瀏覽器訪問：http://IP:9093 即可訪問alertmanager。
3.配置Prometheus與Alertmanager告警
1、配置Prometheus
cd /usr/local/prometheus
vi prometheus.yml
...
# Alertmanager configuration
alerting:
alertmanagers:
- static_configs:
- targets:
- localhost:9093 #實際的alertmanager IP和端口
rule_files:
- "rules/*.yml" #告警規(guī)則文件路徑
#- "second_rules.yml"
...
2、檢查Prometheus配置文件
cd /usr/local/prometheus
./promtool check config prometheus.yml
3、創(chuàng)建Prometheus rules目錄
cd /usr/local/prometheus
mkdir rules
創(chuàng)建節(jié)點狀態(tài)告警規(guī)則
cat > /usr/local/prometheus/rules/general.yml << 'EOF'
groups:
- name: general.rules
rules:
- alert: InstanceDown
expr: up == 0 # 表達式當前被監(jiān)控實例服務(node_exporter)狀態(tài)，1為正常，
for: 10s # 告警持續(xù)時間10s
labels:
severity: warning # 告警級別warning| error
annotations:
summary: "Instance {{ $labels.instance }} down"
description: "{{ $labels.instance }} of job {{ $labels.job }} 已經停止工作10秒鐘。"
EOF
檢查配置文件
./promtool check rules rules/general.yml
重啟prometheus
systemctl restart prometheus
瀏覽器訪問prometheushttp://IP:9090/rules 查看告警規(guī)則
Prometheus Alert (
http://IP:9090/alerts)告警狀態(tài)有三種狀態(tài)：Inactive、Pending、Firing。
- Inactive：非活動狀態(tài)，表示正在監(jiān)控，但是還未有任何警報觸發(fā)。
- Pending：表示這個警報必須被觸發(fā)。由于警報可以被分組、壓抑/抑制或靜默/靜音，所以等待驗證，一旦所- 有的驗證都通過，則將轉到 Firing 狀態(tài)。
-
Firing：將警報發(fā)送到 AlertManager，它將按照配置將警報的發(fā)送給所有接收者。一旦警報解除，則將狀態(tài)轉到 Inactive，如此循環(huán)。
圖片.png
4.驗證郵件告警
驗證故障郵件告警，停止node_exporter.service
systemctl stop node_exporter.service
- 停止服務后，等待 15s 左右可以看到 Prometheus target 里面 node-exproter 狀態(tài)為 unhealthy 狀態(tài)
- 等待 15s 后，alert 頁面由綠色 node-up (0 active) Inactive 狀態(tài)變成了黃色 node-up (1 active) Pending 狀態(tài)
- 繼續(xù)等待 15s 后狀態(tài)變成紅色 Firing 狀態(tài)，向 AlertManager 發(fā)送報警信息，此時 AlertManager 則按照配置規(guī)則向接受者發(fā)送郵件告警。
登錄郵箱查看告警信件：
恢復故障
systemctl start node_exporter.service
