自定义prometheus exporter实现监控阿里云RDS

背景

1、Prometheus官网提供的mysql exporter 对于mysql实例只能一个进程监控一个实例，数据库实例很多的情况，不方便管理

2、内部有定制化监控需求，RDS 默认无法实现，比如对数据库增长的监控

3、默认 Prometheus官网提供的mysql exporter 采集mysql几乎所有的指标，但是实际用到的却不多。浪费存储空间

思路

先了解对于数据库的监控需求

1、一个exporter可以采集所有RDS实例数据
2、RDS 实例采集指标不用全部采集，按需即可
3、定制化需求
- 数据库磁盘使用率，默认mysql的status/variables中没有该指标
- 统计数据库、表的总大小（数据大小+索引大小）

** 针对第一个需求 **

之前在使用Prometheus监控redis的时候，有个export实现了可以同时监控多个实例的情况，大概的思路是：

把实例名称或者地址作为target参数传递给一个URL，这个URL就是一个exporter，然后根据传递的不同target 采集相同指标

** 针对第二个需求 **

做过监控的人都知道mysql的监控指标其实都是采集的show global status 和 show global variables 的结果然后做相关汇总或者计算

所以我们很容易就可以通过这两个sql的结果帅选出需要的选项保存在一个配置文件，采集的时候读取该配置文件选项，按需采集即可

** 针对第三个需求 **

数据库磁盘使用率 / 统计数据库、表的总大小都不是从status/variables 能获取到的。所以了解Prometheus架构的就知道，可以使用 pushgateway 来实现

自定义 exporter 介绍

cws-mysql-exporter
├── aliyunapi.py
├── config.py
├── generate-instance-yml.py
├── instance.yml
├── metrics.yml
├── utils.py
├── pushgateway.py
├── push_cron_dbsize.py
├── push_cron_rds_cpumemiops.py
└── rds-exporter.py

aliyunapi.py 是封装的阿里云相关的api接口，因为磁盘和CPU只能从阿里云获取，它和主机有关系
config.py 里面定义阿里云api的ak/sk ，以及 exporter连接数据库用到的账号和密码，这个账号密码是所有实例共用的
generate-instance-yml.py 这个是首次需要执行的脚本，生成 instance.yml 配置文件，主要是获取所有RDS的实例名称和连接地址，及instance_id(因为有些接口入参必须是instance_id)

rds-xxxx:host: rm-xxxxxx.mysql.rds.aliyuncs.comid: rm-xxxxxxrds-yyyyy:host: rm-yyyyy.mysql.rds.aliyuncs.comid: rm-yyyyy

metrics.yml 是需要采集的监控指标，分variables 和 status ，格式如下

variables:max_connections: ""max_user_connections: ""... ...
status:Aborted_connects: ""Aborted_clients: ""... ...

utils.py 是封装的公共函数
pushgateway.py 是封装的需要推送的 pushgateway 的监控指标
push_cron_dbsize.py 和 push_cron_rds_cpumemiops.py 是包装的不同维度需要推送到 pushgateway 的脚本，最终需要在crontab中定时去执行
rds-exporter.py 是 exporter 的入口，这里借助了 flask 来运行server

exporter 开源地址详见: 自定义exporter实现多RDS数据采集

启动 rds-exporter，默认端口在 5005

Prometheus及组件安装

这里介绍简单的安装和配置，具体的Prometheus及其架构介绍网上有很多资料，大家自行查阅即可

1、安装Prometheus

#!/usr/bin/env bash
# encoding: utf-8
# Author: Eagle
# Desc: 自动化安装 Prometheus
# version="2.36.1"
if [ $# -eq 1 ]
thenversion="$1"
fiecho "Will install prometheus ${version} version"# download
wget "https://github.com/prometheus/prometheus/releases/download/v${version}/prometheus-${version}.linux-amd64.tar.gz"# untar and set link
tar -zxf prometheus-${version}.linux-amd64.tar.gz -C /opt/app
ln -s /opt/app/prometheus-${version}.linux-amd64 /opt/app/prometheus

2、安装pushgateway

#!/usr/bin/env bash
# encoding: utf-8
# Author: Eagle
# Desc: 自动化安装 Prometheus Pushgateway
# version="1.4.3"
if [ $# -eq 1 ]
thenversion="$1"
fiecho "Will install prometheus pushgatewa ${version} version"
wget "https://github.com/prometheus/pushgateway/releases/download/v${version}/pushgateway-${version}.linux-amd64.tar.gz"# untar and set link
tar -zxf pushgateway-${version}.linux-amd64.tar.gz -C /opt/app
ln -s /opt/app/pushgateway-${version}.linux-amd64 /opt/app/pushgateway

3、启动 pushgateway

配置systemd service，文件位置/usr/lib/systemd/system/pushgateway.service

Description=Prometheus Pushgateway Service
Requires=network-online.target
After=network-online.target[Service]
Restart=on-failure
ExecStart=/opt/app/pushgateway/bin/pushgateway[Install]
WantedBy=multi-user.target

配置开启自启动 systemctl enable pushgateway
启动/停止/重启 systemctl start/stop/restart pushgateway

pushgateway不需要额外的配置，默认是在9091端口

4、配置Prometheus并启动

配置systemd service，文件位置/usr/lib/systemd/system/prometheus.service

Description=Prometheus Server
Requires=network-online.target
After=network-online.target[Service]
Restart=on-failure
ExecStart=/opt/app/prometheus/bin/prometheus --config.file=/opt/app/prometheus/prometheus.yml --storage.tsdb.retention=60d --web.enable-lifecycle --web.enable-admin-api --storage.tsdb.path=/data/prometheus-data[Install]
WantedBy=multi-user.target

注意提前创建 prometheus 数据目录

配置开启自启动 systemctl enable prometheus
启动/停止/重启 systemctl start/stop/restart prometheus

配置Prometheus

# 这里是全局变量的配置
global:scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.# scrape_timeout is set to the global default (10s).# 这里是配置 alertmanager， Prometheus会根据 rules 规则把告警信息发送给 alertmanager 组件，alertmanager 负责实际告警信息的发送
alerting:alertmanagers:- static_configs:- targets: ['192.168.xx.yyy:9093']# 这里是配置告警规则，本次不是讲解重点先忽略
# rule_files:
#   - "rules/rds_rules.yml"# 配置Prometheus从那些 endpoint 或者叫 exporter 采集监控数据
scrape_configs:# 默认监控 Prometheus服务本身- job_name: "prometheus"static_configs:- targets: ["localhost:9090"]labels:instance: prometheus# 自定义的mysql targets ，这里的targets是通过直接配置的方式# 另外还有通过文件的方式、通过consul等自动发现的方式，# 这两种方式这里不展开介绍，感兴趣的关注后续文章- job_name: 'mysql_targets'scrape_interval: 60sscrape_timeout: 12smetrics_path: /scrapestatic_configs:- targets:- rds-xxx- rds-yyy# relabel_configs 是通过label重写实现我们最终需要的标签# 另外这里是通过重写target，重新定义了 endpoint 地址relabel_configs:- source_labels: [__address__]target_label: __param_target- source_labels: [__param_target]target_label: instance- target_label: __address__replacement: 192.168.3.108:5005# pushgateway - job_name: 'pushgateway'scrape_interval: 60sstatic_configs:- targets:- 192.168.3.108:9091# 这里是对自定义的 mysql-exporter 做监控- job_name: 'rds-exporter'scrape_interval: 60sstatic_configs:- targets:- 192.168.3.108:5005

重启Prometheus或者执行reload操作 curl -XPUT http://192.168.3.108:9090/-/reload 使配置生效

最终在prometheus的webui界面的Status -> Targets 里面看到如下

Grafana 配置MySQL监控大盘

具体的Grafana安装和配置请参考教程或者网上自动查阅

打开Grafana界面进行 Dashboard的导入，如下图所示

点击左侧 + 选择 import ，然后通过三种不同的方式导入Dashboard模板

1、在granfan 官网找到合适的模板之后，记住ID，输入该ID然后点击Load
2、通过右上角的 Upload .json file 上传本地的模板json文件
3、直接把本地的模板json文件内容copy到 Or paste JSON 下方的框中即可

这里提供自定义的模板JSON文件下载地址

最终的效果如下