panel items 添加指定位置_通过gitlab-ci自动添加prometheus业务监控

作者：Charl

背景

公司需要对平台上各个业务的请求状态码和请求时延等情况进行监控，监控的指标信息主要通过现在比较流行的开源监控平台prometheus实现，prometheus主动对每个业务下所有主机列表提供指标查询接口（通过指定端口和路径）进行拉取和存储。然后grafana展示平台以prometheus作为数据源，将监控数据按需求展示出来。

由于需要接入的业务项目众多，如果通过手动更改prometheus配置文件以及手动为每一个项目创建grafana dashboard势必会耗时耗力，本着运维工作不做重复体力劳动的原则，我利用gitlab的CI/CD功能并结合实际场景写了一些脚本进行项目的自动接入。

prometheus监控的项目配置信息通过gitlab进行管理。接入的基本流程是，项目拥有者如果要对某个项目进行接入，只需要增加一个事先约定好格式的iyaml配置文件（非常简单，只需要填写几个k-v值）,然后提交merge request。只要master分支有合入，后面的更新prometheus配置文件和添加dashboard都会通过gitlab-ci执行python脚本文件完成。这样就可以大大解放释放自己的劳动力^_^。

基本架构

整个完成项目接入监控的组件由五个部分组成

gitlab

用于存储项目的监控配置信息。

gitlab-runner

将配置信息git clone下来，然后根据.gitlab-ci.yml内容执行对应的任务。

ansible

接受gilt-runner的远程命令，更新各个prometheus节点的监控配置文件并重启。

prometheus

运行了prometheus监控进程，根据配置文件读取目标主机的接口抓取监控数据。

grafana

以prometheus作为数据源，对监控数据以直观清晰的形式展示出来。

项目接入流程

以新增配置文件的形式更新gitlab中管理的配置信息，提交Merge request到master节点。
gitlab-runner会在master分支被合入后拉取最新的配置信息，并根据.gitlab-ci.yml内容执行python脚本首先更新prometheus所需要的新的监控配置文件。
将监控配置文件从gitlab-runner拷贝到ansible节点
gitlab-runner远程调用ansible命令，执行ansible-playbook内容。
ansible-playbook的内容主要是推送新的监控配置文件到所有目标prometheus节点，并完成进程重启使配置生效。
gitlab-runner通过git diff命令识别出新增的项目名称，然后根据grafana dashboard基本模板为每一个新增项目生成特定的json配置文件。
gitlab-runner通过grafana的API接口，将每一个新增项目生成特定的json配置文件作为body体内容发起POST请求，为每个项目创建一个通用的dashboard面板。

Gitlab-runner安装与配置

gitlab-runner的安装与配置可以参考如下链接进行配置，里面还包括了一下gitlab-runner的基本介绍。

GitLab-CI与GitLab-Runner

gitlab-runner通过.gitlab-ci.yml配置的任务来进行具体的操作，关于.gitlab-ci.yml的相关概念和基本配置方法可以根据如下链接进行学习，再次也不再赘述。

持续集成-通过 .gitlab-ci.yml配置任务

文件目录结构

.
├── README.md
├── add_new_project.py
├── configurations
│   ├── project1.yml
│   ├── project2.yml
├── .gitlab-ci.yml
├── grafana_templates
│   ├── dashboard_template.json
│   └── panel_template.json
├── prometheus.yml
├── requirements.txt
├── scripts
│   ├── cd_script.sh
│   └── find_new_yml_config.sh
└── src├── __init__.py├── add_dashboard.py├── gen_prometheus_conf.py├── get_new_project.py

.gitlab-ci.yml

定义了gitlab ci的基本任务。

yaml stages: - deploy #定义ansible登陆信息 variables: IP_ADDRESS: <ANSIBLE_IP> PORT: <ANSIBLE_PORT> #定义执行的job内容 project-update-deploy: stage: deploy script: - python add_new_project.py - scp -P $PORT prometheus.yml ansible@$IP_ADDRESS:~/ansible - ./scripts/cd_script.sh $IP_ADDRESS $PORT only: - master #只有在合入master分支才会执行 tags: - prometheus #匹配gitlab-runner的tag

add_new_project.py

脚本的入口，完成prometheus配置的更新与新项目grafana dashboard的添加。

scripts目录
cd_script.sh
远程执行ansible-playbook命令，使新配置在prometheus节点生效。
find_new_yml_config.sh
找到每次合入前后新增的项目名，用于添加新的grafana dashboard。
grafana_templates

存放了grafana的基础dashboard模板和里面每一个pannel的基础模板。

add_new_project.py所需要调用的函数

Prometheus配置更新

监控项目配置信息统一放在configurations目录下，每个文件的基本内容如下：

port: 80
metrics_path: /metrics
ip_list:
- 192.168.1.10
- 192.168.1.11
tags:
- tag1

每个项目在接入是文件名即为项目名称，提供的监控路径metrics_path和端口port以及项目下的主机列表ip_list。tags是用来在grafana里的tag添加，主要是便于面板的搜索，非必选项。

生成新的prometheus配置文件的原理很简单。python脚本遍历configurations下的文件列表，然后按prometheus所需要的格式规范来生成监控信息配置文件prometheus.yml。

举例：

global:evaluation_interval: 15sscrape_interval: 15s
scrape_configs:
- job_name: project1metrics_path: /metricsstatic_configs:- targets:- 192.168.1.10:80- targets:- 192.168.1.11:80
- job_name: project2metrics_path: /metricsstatic_configs:- targets:- 192.168.2.10:8080

为新项目添加grafana dashboard

为新增项目添加新的grafana dashboard的主要难点在于如何识别出合入后新的项目文件名，这边主要通过find_new_yml_config.sh来完成，其核心是通过git diff命令来查询合入前后的新增文件差异。

list_changed_files() {git diff --name-status "${PREV_HEAD}".."${CURRENT_HEAD}" | grep "${CONFIG_DIR}" | sed -n '/^[^RDM].*.yml$/p' | cut -f 2 | sort --unique
}

其中PREV_HEAD和CURRENT_HEAD是合入前后git版本的ID标识，这两个变量的值可以通过gitlab CI /CD所定义的环境变量信息获得，分别对应CI_BUILD_BEFORE_SHA和CI_BUILD_REF，具体含义参考如下链接：

GitLab CI/CD Variables

通过diff进行对比之后，再进行文本上的过滤以及格式化处理后，即可获得新增项目名。

在获得新增项目名只要将grafana_templates下的模板组装起来，将其中的项目名替换成上面查询到项目名后就可以生成每个项目创建新dashboard的请求体内容。grafana中项目名的主要作用有两个：

作为dashboard的名字
由于prometheus里面不同的监控指标是通过项目名作为区分的（prometheus里面是job_name)，所以在grafana中每个dashboard的panel对监控数据进行查询时也是根据项目名去查询。

最后将基本信息组装成HTTP POST请求，调用grafana的API接口完成实际创建。关于调用grafana API接口创建dashboard可以参考对应的官方文档，链接如下：

Authentication API

Dashboard API

总结

以上就是通过gitlab ci完成项目接入prometheus监控的实现过程，主要逻辑是运行在gitlab-runner上，所采用的逻辑也比较简单清晰，分步骤调用其他组件完成了整个接入流程。

另一方面，Gitlab上真正在进行更改只是configurations目录下的文件内容，所以gitlab上其实只需要管理项目基本配置信息即可，其余的脚本文件、模板文件等都可以抽取出来，在Gitlab runner上通过容器封装起来，这样做可以进一步将配置信息和脚本程序分离开来。

参考文献

GitLab-CI与GitLab-Runner
持续集成-通过 .gitlab-ci.yml配置任务
GitLab CI/CD Variables
Authentication API
Dashboard API