grafana+alertmanager 微信报警发送给不同告警人

需求

grafana+elk+alertmanager实现微信报警到不同部门或不同告警人。

简介

grafana+alertmanager实现微信报警这篇文章中详述了grafana+alertmanager的微信报警实现过程。

alertmanager默认情况下告警接收人为wechat，也就是默认对test1发送微信告警，没有将报警分类。

vim grafana.yml
global:resolve_timeout: 5mtemplates:
- '/usr/local/alertmanager/wechat.tmpl'route:group_by: ['alertname']group_wait: 5m#group_wait: 1m#同一组内警报，等待group_interval时间后，再继续等待repeat_interval时间group_interval: 10m#group_interval: 1m#当group_interval时间到后，再等待repeat_interval时间后，才进行报警repeat_interval: 1h#repeat_interval: 1mreceiver: 'wechat'
receivers:
- name: 'wechat'wechat_configs:- corp_id: 'wwbba179b20d372e'agent_id: '1000005'api_secret: '-CJ9QLEFxLzxt-NWYOLuy-RuX3I'to_user: 'test1'send_resolved: true

问题

此时，如果我们对elk的index分组，并发给不同的接收人，如：web、api，怎么实现？

1.先来看下grafana发送到alertmanager告警信息

alertname='xxx流量告警'
description='xxx每分钟访问量超过15000'
summary='xxx流量告警'
metric='Count'

我们可以通过访问alertmanager的web页面查看，如http://10.10.10.22:9093。

在alertmanager中，对alertname进行分组；description和summary是具体报警内容；而metric是标签，即label。

要想实现分组，alertmanager需要根据label进行设置子路由，通过匹配label发送给不同的接收人。

2.设置子路由

通过routes设置子路由，子路由中设置不同的接收人。

vim grafana.yml
global:resolve_timeout: 5mtemplates:
- '/usr/local/alertmanager/wechat.tmpl'route:group_by: ['alertname']group_wait: 5m#group_wait: 1m#同一组内警报，等待group_interval时间后，再继续等待repeat_interval时间group_interval: 10m#group_interval: 1m#当group_interval时间到后，再等待repeat_interval时间后，才进行报警repeat_interval: 1h#repeat_interval: 1mreceiver: 'wechat'#子路由routes:- receiver: 'wechat_web'match_re:department: 'web'- receiver: 'wechat_api'match_re:department: 'api'
receivers:
- name: 'wechat'wechat_configs:- corp_id: 'wwbba179b20d372e'agent_id: '1000005'api_secret: '-CJ9QLEFxLzxt-NWYOLuy-RuX3I'to_user: 'test1'send_resolved: true
- name: 'wechat_web'wechat_configs:- corp_id: 'wwbba179b20d372e'agent_id: '1000005'api_secret: '-CJ9QLEFxLzxt-NWYOLuy-RuX3I'to_user: 'test2'send_resolved: true
- name: 'wechat_api'wechat_configs:- corp_id: 'wwbba179b20d372e'agent_id: '1000005'api_secret: '-CJ9QLEFxLzxt-NWYOLuy-RuX3I'to_user: 'test3'send_resolved: true

3.amtool 调试

#触发web报警
./amtool --alertmanager.url=http://10.10.10.22:9093 alert add department=web alertname="xxx流量告警"        --annotation=description='xxx每分钟访问量超过15000'  --annotation=summary = "xxx流量告警"
#触发api报警
./amtool --alertmanager.url=http://10.10.10.22:9093 alert add department=api alertname="xxx流量告警"        --annotation=description='xxx每分钟访问量超过15000'  --annotation=summary = "xxx流量告警"

通过这种方式，我们可以在排除grafana的情况下，模拟测试alertmanager触发报警。

4.grafana设置label

由于我们使用的是grafana5.4 ，查看官方文档All supported notifiers
从上图看出报警通道为prometheus+alertmanager 是支持发送图片和报警标签（对应alertmanager中的label），但是是从6.3+开始。

也就是说grafana5.4 是不支持报警标签，因此无法设置label；因此我们需要将grafana升级到6.3以上。
升级过程需要测试，以免丢失数据。

两个版本的对比如下：

grafana-5.4 告警信息配置：

grafana-6.5 告警信息配置：

通过上图区别，可明显看出6.5 比 5.4 的多出了一个alert tag的功能，即对应alertmanger的label。如下：

使用grafana-5.4 默认展示一个label：metric
使用grafana-6.5 可以展示两个label：department和metric，而metric是用于elk的统计量；department是我们用于区分发送给不同部门和报警人的，alertmanger正式通过这个手动添加的label来匹配不同的子路由，发给不同的报警人。

grafana+alertmanager 微信报警发送给不同告警人相关推荐

Prometheus AlertManager 微信报警配置
Prometheus AlertManager 微信报警配置 alertmanager支持email,webhook等报警源支持,看到可以支持微信报警信息推送觉得有意思把玩一下,alertmanage ...
linux上配置zabbix并设置企业微信，机器人以及自主告警
linux上配置zabbix并设置企业微信,机器人以及自主告警配置lamp 提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录 linux上配置zabbix并设置企业微信,机 ...
linux告警微信,使用alertmanager实现微信报警
上篇介绍了prometheus结合grafana的方式进行集群的监控,该组合可以实现很好监控效果,但是,如果设备出问题了,尤其是一些紧急问题,影响到业务,我们需要安排人员进行紧急处理,所以说及时知晓发 ...
grafana+alertmanager实现微信报警
一.需求实现网站的流量监控,之前希望通过elk+python+zabbix实现微信报警,需要通过elk的dsl语句查询,实现起来比较麻烦. 由于grafana的多数据源特性,结合alertmanag ...
prometheus 发送恢复值_基于prometheus+grafana+alertmanager监控系统配置钉钉告警
概述因为目前工作基本都是用钉钉办公,所以今天主要介绍一下怎么在prometheus配置钉钉告警,这里的前提是已经部署了alertmanager. 一.配置go 由于Prometheus 是用gola ...
配置文件详解+AlertManager微信邮件告警配置
文章目录前言 AlertManager告警简单部署一.AlertManager告警简介 1.简介 2.告警规则组成 1)告警名称 2)告警规则 3.Alertmanager特性 1)分组 2)抑制 ...
Prometheus+Grafana+企业微信机器人告警
Prometheus+Grafana+企业微信机器人告警开源监控和报警系统 Prometheus+Grafana+企业微信机器人告警 Prometheus+Grafana+企业微信机器人告警 1.P ...
prometheus+node_exporter+grafana+alertManager+prometheus-webhook-dingtalk实现服务器监控显示，钉钉机器人告警消息通知
1.下载prometheus安装 ① 从 https://prometheus.io/download/ 下载相应版本,安装到服务器上官网提供的是二进制版,解压就能用,不需要编译 [root@loac ...
通过微信企业号发送zabbix报警
采用微信报警时,管理员账户中必须要设置"示警媒体"一项,"收件人"一项可随便填写一下.其它成员则可以不用添加设置. ---------------------- ...

grafana+alertmanager 微信报警发送给不同告警人

需求

简介

问题

grafana+alertmanager 微信报警发送给不同告警人相关推荐

最新文章

热门文章