prometheus报警配置分类之alertmanager，多webhook地址配置。

需求：报警信息太多，需要筛选出来一部分，实现紧急处理，不紧急处理，然后发送到不同的群。

部署 prometheus 钉钉推送自定义监控配置 promql基础语法地址：https://blog.csdn.net/weixin_43606975/article/details/125283704?spm=1001.2014.3001.5502
修改配置dingtalk-config.yaml文件

cat dingtalk-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:name: dingtalk-confignamespace: prometheus
data:config.yml: |-templates:- /etc/prometheus-webhook-dingtalk/template.tmpltargets:webhook:url: https://oapi.dingtalk.com/robot/send?access_token=b5b550b72447d935572d5c717cd1ec4bed7f17cc82ef #机器人wehbook地址secret: SECcbc9fe62f53d9a533d5e506f30722e0a1a39b36bd0b8e242c15772dc39e05aa1 #钉钉机器人的加签mention:all: true  #@所有人webhook2:url: https://oapi.dingtalk.com/robot/send?access_token=4df2745e8df1de6d0429e35caf15e032e2b33ee2ba73899043c99953db9d68a3secret: SECe079af795abd316a7e1f431ee8ebcf082cc0b0611a859da37ec4d7ad6800b0f5template.tmpl: |-{{ define "__subject" }}[{{ .Status | toUpper }}{{ if eq .Status "firing" }}:{{ .Alerts.Firing | len }}{{ end }}] {{ .GroupLabels.SortedPairs.Values | join " " }} {{ if gt (len .CommonLabels) (len .GroupLabels) }}({{ with .CommonLabels.Remove .GroupLabels.Names }}{{ .Values | join " " }}{{ end }}){{ end }}{{ end }}{{ define "__alertmanagerURL" }}{{ .ExternalURL }}/#/alerts?receiver={{ .Receiver }}{{ end }}{{ define "__text_alert_list" }}{{ range . }}**Labels**{{ range .Labels.SortedPairs }} - {{ .Name }}: {{ .Value | markdown | html }}{{ end }}**Annotations**{{ range .Annotations.SortedPairs }} - {{ .Name }}: {{ .Value | markdown | html }}{{ end }}**Source:** [{{ .GeneratorURL }}]({{ .GeneratorURL }}){{ end }}{{ end }}{{ define "default.__text_alert_list" }}{{ range . }}---**告警级别:** {{ .Labels.severity | upper }}**运营团队:** {{ .Labels.team | upper }}**触发时间:** {{ dateInZone "2006.01.02 15:04:05" (.StartsAt) "Asia/Shanghai" }}**事件信息:**{{ range .Annotations.SortedPairs }} - {{ .Name }}: {{ .Value | markdown | html }}{{ end }}**事件标签:**{{ range .Labels.SortedPairs }}{{ if and (ne (.Name) "severity") (ne (.Name) "summary") (ne (.Name) "team") }} - {{ .Name }}: {{ .Value | markdown | html }}{{ end }}{{ end }}{{ end }}{{ end }}{{ define "default.__text_alertresovle_list" }}{{ range . }}---**告警级别:** {{ .Labels.severity | upper }}**运营团队:** {{ .Labels.team | upper }}**触发时间:** {{ dateInZone "2006.01.02 15:04:05" (.StartsAt) "Asia/Shanghai" }}**结束时间:** {{ dateInZone "2006.01.02 15:04:05" (.EndsAt) "Asia/Shanghai" }}**事件信息:**{{ range .Annotations.SortedPairs }} - {{ .Name }}: {{ .Value | markdown | html }}{{ end }}**事件标签:**{{ range .Labels.SortedPairs }}{{ if and (ne (.Name) "severity") (ne (.Name) "summary") (ne (.Name) "team") }} - {{ .Name }}: {{ .Value | markdown | html }}{{ end }}{{ end }}{{ end }}{{ end }}{{/* Default */}}{{ define "default.title" }}{{ template "__subject" . }}{{ end }}{{ define "default.content" }}#### \[{{ .Status | toUpper }}{{ if eq .Status "firing" }}:{{ .Alerts.Firing | len }}{{ end }}\] **[{{ index .GroupLabels "alertname" }}]({{ template "__alertmanagerURL" . }})**{{ if gt (len .Alerts.Firing) 0 -}}{{ template "default.__text_alert_list" .Alerts.Firing }}{{- end }}{{ if gt (len .Alerts.Resolved) 0 -}}{{ template "default.__text_alertresovle_list" .Alerts.Resolved }}{{- end }}{{- end }}{{/* Legacy */}}{{ define "legacy.title" }}{{ template "__subject" . }}{{ end }}{{ define "legacy.content" }}#### \[{{ .Status | toUpper }}{{ if eq .Status "firing" }}:{{ .Alerts.Firing | len }}{{ end }}\] **[{{ index .GroupLabels "alertname" }}]({{ template "__alertmanagerURL" . }})**{{ template "__text_alert_list" .Alerts.Firing }}{{- end }}{{/* Following names for compatibility */}}{{ define "ding.link.title" }}{{ template "default.title" . }}{{ end }}{{ define "ding.link.content" }}{{ template "default.content" . }}{{ end }}

加载配置

kubectl apply -f  dingtalk-config.yaml

修改alertmanager配置

cd /home/k8s/kube-prometheus-0.10.0/manifests
#cat alertmanager-secret.yaml
apiVersion: v1
kind: Secret
metadata:labels:app.kubernetes.io/component: alert-routerapp.kubernetes.io/instance: mainapp.kubernetes.io/name: alertmanagerapp.kubernetes.io/part-of: kube-prometheusapp.kubernetes.io/version: 0.23.0name: alertmanager-mainnamespace: monitoring
stringData:alertmanager.yaml: |-"global":"resolve_timeout": "5m""receivers":- "name": "Webhook"  #第一个钉钉名字"webhook_configs":- "url": "http://dingtalk.monitoring.svc.cluster.local:8060/dingtalk/webhook/send"   #第一个钉钉机器人转发的地址"send_resolved": true  #恢复是否发送消息- "name": "Webhook2" #第二个钉钉名字"webhook_configs":- "url": "http://dingtalk.monitoring.svc.cluster.local:8060/dingtalk/webhook2/send" #第二个钉钉机器人转发的地址"send_resolved": true"route":"group_by":- "alertname"- "namespace"- "team""group_wait": "60s""group_interval": "10s""repeat_interval": "12h""receiver": "Webhook"    #默认的接收人必须要配置"routes":- "match":    #标签里面带有service: diji 的发送到webhook上"service": "diji""receiver": "Webhook"   #接受人"group_wait": "10s""group_interval": "15s""repeat_interval": "3h"- "match":   #标签里面带有service: gaoji 的发送到webhook2上"service": "gaoji""receiver": "Webhook2"   #接受人"group_wait": "10s""group_interval": "15s""repeat_interval": "3h""inhibit_rules":- "source_match":           #匹配当前告警发生后其他告警抑"severity": 'error'      #指定告警级别"target_match":            #抑制告警"severity": 'warning'     #指定抑制告警级别"equal": ['instance','namespace',"alertname","team"]  #只有包含指定标签才可成立规则type: Opaque

刷新配置

kubectl apply -f alertmanager-secret.yaml

介绍一下alertmanager配置

  routes:- match:   #基本匹配team: testgroup_by: [env,dc]  #分组receiver: 'ops'   #接受人- match_re:  #正则匹配service: nginx|apache #多个|receiver: 'webhook3'  #接收人- match_re: #正则匹配severity: critical  #报警级别receiver: 'webhook4' #接收人

修改

cd /home/k8s/kube-prometheus-0.10.0/manifests
cat nodeExporter-prometheusRule.yaml
...- alert: demon-podannotations:description: filed  demon-pod < 2expr: sum(node_namespace_pod:kube_pod_info:{namespace="demon"}) < 2 #这是监控语句不能直接使用需要自己写 promql，sum是求和函数。for: 2mlabels:team: podsseverity: criticalservice:  dijiteam:  demon-pod- alert: demon-nignx-stopannotations:description:  nginx pod stopexpr: sum(kube_pod_container_status_ready{namespace="demon"}) < 2  #这是监控语句不能直接使用需要自己写 promql，sum是求和函数。for: 2mlabels:severity: criticalservice:  gaojinamespace: demon
...

刷新配置

kubectl apply -f   nodeExporter-prometheusRule.yaml

promethus 上看是否出现
钉钉查看是否出现2个机器人分别发送，当然机器人可以放在不同的群里。我这测试无所谓了。

报错收集：

true不能为字符串

一级route里面必须有接收人receiver

没有webhook接收人

下期再见

prometheus报警配置分类之alertmanager，多webhook地址配置。相关推荐

(二) prometheus报警-----自定义 / alertmanager监控，报警设置
文章目录 1. prometheus报警设置: . 介绍 2.自定义告警规则定义告警规则模板化查看告警状态 2.下载并报警组件alertmanager 2.1 配置alertmanager 2. ...
IPv6地址配置方式，无状态地址配置及DHCPv6配置
一.配置拓扑二.配置需求 1.PC1与AR1 配置2001::/64 前缀IPv6地址,测试实现PC1与网关互联互通 2.PC2与AR2 配置2002::/64 前缀IPv6地址,测试实现PC1与网 ...
html调取主机ipv6地址,IPv6地址格式及地址配置方式
IPv6地址格式及地址配置方式一个典型的IPv6主机单播地址由3部分组成:全局路由前缀.子网ID和接口ID(64位).全局路由前缀用来识别分配给一个站点的一个地址范围.子网ID也称为子网前缀,一个 ...
IPv6 02-IPv6地址配置
(参考华为官网资料) IPv6地址配置有两种: 无状态地址自动配置有状态地址自动配置协议 -- DHCPv6协议无状态地址自动配置的过程 IPv6主机首先通过路由器发现功能来获取地址前缀信息通过 ...
Prometheus 原理和实践，含docker部署Prometheus、node Exporters、Alertmanager、Push Gateway、grafana
全栈工程师开发手册 (作者:栾鹏) 架构系列文章 Prometheus 入门与实践 2018 年 5 月 30 日发布随着容器技术的迅速发展,Kubernetes 已然成为大家追捧的容器集群管理系统. ...
配置文件详解+AlertManager微信邮件告警配置
文章目录前言 AlertManager告警简单部署一.AlertManager告警简介 1.简介 2.告警规则组成 1)告警名称 2)告警规则 3.Alertmanager特性 1)分组 2)抑制 ...
prometheus 报警规则
prometheus 报警规则 Prometheus 报警我们一遍都会配合Alertmanager来使用. 从Prometheus server端接收到alerts后,会基于PromQL的告警规则分 ...
Jenkins与git工具完成webhook勾子配置
Jenkins与git工具完成webhook勾子配置文章目录 Jenkins与git工具完成webhook勾子配置前言 jenkins配合gitblit实现webhook配置 gitblit配置 ...
spingmvc 通过xml配置redis jedispol 有密码通过xml配置redis中的 jedispool(有密码)
https://blog.csdn.net/programmer_hard/article/details/103700334 通过xml配置redis中的 jedispool(有密码) progra ...

prometheus报警配置分类之alertmanager，多webhook地址配置。

下期再见

prometheus报警配置分类之alertmanager，多webhook地址配置。相关推荐

最新文章

热门文章