随着业务的增长，服务器部署由单一架构向分布式集群架构转变，性能测试过程中指标监控也由单一服务器向集群服务器转变。

对于性能测试团队来说，需要建立起适用于测试的多机监控系统，以便后期顺利且高效地进行监控分析调优，从而保证整个测试过程的高可靠性。

因此，小编本期为大家讲讲如何搭建性能测试监控系统，做好关键指标的监控。

监控概述

什么是监控

从技术角度看，监控是度量和管理技术系统的工具和过程。但远不止于此，监控可实现从系统和应用程序生成的指标到业务价值的转换。这些指标转换可度量用户体验，为业务和技术人员提供反馈，指示业务的工作状态以及系统的持续改进。

典型互联网架构图

上图为一个典型的互联网架构图。监控时也要着眼于多个层面，从整体架构去看，而不是去看具体某一个点，这样才能更接近问题的本质。

监控分类

监控一般可分为：业务级别监控、系统级别监控、网络监控、程序代码监控、日志监控、用户行为分析监控和其他种类监控。下述为常见监控类型的示例：

业务监控：包含用户访问QPS、 DAU日活、访问状态(http code)、业务接口(登录、注册、聊天、上传、留言、短信、搜索等)、产品转化率、充值额度、用户投诉等等这些宏观概念。
系统监控：主要是跟操作系统相关的基本监控项，如CPU、内存、硬盘、IO、TCP链接、流量等等，常用的系统监控工具有：Nagios-plugins、zabbix、prometheus等。
网络监控：监控网络状态对互联网公司必不可少，但常常被忽略，如：内网之间(物理内网和虚拟内网)、外网的丢包率、延迟等。
日志监控：监控中的重头戏，往往单独设计和搭建，全部种类的日志都有采集的需求(syslog、soft、网络设备、用户行为等)，常用的日志管理工具有：Splunk-商业、ELK-开源等。
程序监控：一般需要和开发人员配合，程序中嵌入各种接口以直接获取数据或者特制的日志格式。

监控神器Prometheus简介

Prometheus（普罗米修斯）是一套开源的监控&报警&时间序列数据库的组合，常见的Kubernetes容器管理系统通常会搭配Prometheus进行监控。

Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态，优点在于任意组件只要提供HTTP接口就可以接入监控系统，不需要任何 SDK或者其他的集成过程，非常适合虚拟化环境，比如VM或者Docker。

输出被监控组件信息的HTTP接口被叫做Exporter(导出器)。目前互联网公司常用的组件大部分都有Exporter，可以直接使用，比如RabbitMQ、Redis、Nginx、MySQL、Linux系统信息 (包括磁盘、内存、CPU、网络等等)，具体支持的源可查看：https://github.com/prometheus。

Prometheus原理示意

Prometheus的优势

1. 提供多维数据模型：由度量名称和键值标识的时间序列数据；

2. 内置时间序列数据库：TSDB；

3. 查询语言PromQL灵活，可以利用多维数据完成复杂查询；

4. 基于HTTP的Pull（拉取）方式采集时间序列数据（exporter）；

5. 支持PushGateway组件收集数据；

6. 通过服务发现或静态配置发现目标；

7. 支持多种图形模式及仪表盘；

8. 支持作为数据源接入Grafana；

9. 更适合云环境的监控，尤其对K8S有着更好的支持。

Prometheus的不足

1. 因其数据采集的精度，如果集群数量太大，单点的监控就会出现性能瓶颈，目前尚不支持集群，只能workaround；

2. 学习成本太大，尤其是其独有的数学命令行(非常强大的同时又极其难学)，中文资料极少，本身的各种数学模型的概念很复杂；

3. 对磁盘资源耗费较大，主要取决于监控的集群数量和监控项的多少及保存时间的长短。

小知识：

Prometheus是为短期监视和警报需求而设计的。默认情况下，它在本地数据库中仅保存15天的时间序列数据。

如果希望保留更长时间的数据，建议将所需的数据发送到远程的第三平台（如InfluxDB），Prometheus具有向外部数据存储写入的能力。

Prometheus的组成及架构

Prometheus架构图

从这个架构图，可以看出Prometheus的主要模块包含：Prometheus Server、Exporters、Pushgateway、PromQL、Alertmanager、Web UI等。下述为各个组件功能的简单介绍：

Prometheus Server：定期从静态配置的 targets 或者服务发现（主要是DNS、consul、k8s、mesos等）的targets拉取数据。
Exporters：负责向Prometheus Server做数据汇报。不同的数据汇报由不同的Exporters实现，比如监控主机有node-exporters，MySQL有MySQL server exporter，Nginx有nginx-vts-exporter。
Pushgateway：pull(被动)模式要求被监控对象能够提供Exporter服务给Prometheus。该模式为官方推荐，但对于某些情况下，比如我们将Prometheus搭建在外网去监控内网应用的情况下，由于内网有诸多安全限制使得无法穿透，这时就要借助push(主动)模式来解决问题。

push模式需要APP主动推送数据到Pushgateway，Prometheus监控Pushgateway来获取数据。
Alertmanager：实现Prometheus的告警功能。
WebUI：主要通过Grafana来实现Web UI展示。

Prometheus的数据模型

Prometheus将所有数据存储为时间序列：具有相同度量名称以及标签属于同一个指标。

每个时间序列都由Metric（度量）标准名称和一组键值对（也称为标签）唯一标识，格式为：{=,...}。

时间序列数据

小知识：

Metric（度量）是对软件或者硬件组件属性的度量。为了使度量有用，我们跟踪它的状态，通常随时间记录数据点，这些数据点称为观测值。

观测值由值、时间戳以及有描述观察的一系列属性(如源或标记)组成。观测值的集合称为时间序列。

Prometheus的指标类型

Counter（计数器）：递增的计数器，代表一种样本数据单调递增的指标，即只增不减，除非监控系统发生了重置。例如，你可以使用Counter类型的指标来表示服务的请求数、已完成的任务数、错误发生的次数等。

计数器示例

Gauge（仪表盘）：可以任意变化的数值，通常用于像温度或者内存使用率这种指标数据，也可以表示能随时增加或减少的“总数”，例如：当前并发请求的数量。

仪表盘示例

Histogram（直方图）：直方图是对数据分布情况的图形表示，由一系列高度不等的长条图（bar）或线段表示。其对一段时间范围内的数据进行采样，并对所有数值求和、统计数据量，用于展示单个测度得知的分布。

直方图示例

Summary（摘要）：与Histogram类似，用于表示一段时间内的数据采样结果（通常是请求持续时间或响应时间大小等），但它直接存储了分位数（通过客户端计算，然后展示出来），而不是通过区间来计算。

摘要示例

Prometheus安装方法

Prometheus下载

下载地址：https://prometheus.io/download/

下载命令：

wget https://github.com/prometheus/prometheus/releases/download/v2.21.0/prometheus-2.21.0.linux-amd64.tar.gz

Prometheus安装

解压命令如下：

tar  -zxvf  prometheus-2.21.0.linux-amd64.tar.gz

解压得到以下文件，其中prometheus为二进制可执行文件。

执行结果示例

移动文件至usr/local/目录，命令如下：

mv  prometheus-2.21.0.linux-amd64  /usr/local/prometheus-2.21.0.linux-amd64

软连接命令如下：

ln  -sv  /usr/local/prometheus-2.21.0.linux-amd64  /usr/local/ Prometheus

执行结果示例

Prometheus程序启动

解压后得到prometheus二进制文件（默认配置文件），直接执行即可。启动命令如下：

./prometheus --config.file=prometheus.yml &

查看程序进程及端口号，如下图所示：

程序进程及端口号

启动参数如下：

/usr/local/prometheus/Prometheus
--web.listen-adds=0.0.0.0:9090
--web.read-timeout=5m
--web.max-connections=10
--storage.tsdb.retention=15d
--storage.tsdb.path=data/
--query.max-concurrency-20
--query.timeout-2m

以下为部分参数的解释：

--storage.tsdb.retention=15d：用于设置数据保留于内存和磁盘的时间。保留时间太长，硬盘内存吃不消，太短则难以查询历史数据。一般而言，企业中常设置为15天。
--storage.tsdb.path="data/"：监控数据的存储路径。
--web.read-timeout=5m：请求链接的最大等待时间，防止太多空闲链接占用资源。
--web.max-connections=10：用于设置最大链接数。

小知识：

1. 可利用Prometheus提供的热更新方法实现配置文件的重新加载，相关命令如下：

kill –HUP  4100  //将某个进程挂起
ps -ef |grep prometheus   //查看Promethues的进程是否在运行

2. 配置文件语法检测的相关命令如下：

./promtool check config prometheus.yml

监控案例讲解

Prometheus使用Exporter工具来暴露主机和应用程序上的指标，官方提供的有node_exporter、mysql_exporter等Exporter 安装包，第三方Exporter 也提供了redis、kafka等中间件的tar包。

下文监控案例以node_exporter作为示范。

部署Agent（node_exporter）

node_exporter为使用Go语言编写的收集器, 用于监控Linux系统，收集Linux资源指标数据。部署方法如下：

步骤一：安装node_exporter。

官方下载地址：https://prometheus.io/download/，从该链接下载node_exporter-1.0.1.linux-amd64.tar.gz，安装命令如下：

tar  -xzvf  node_exporter-1.0.1.linux-amd64.tar.gz
mv  node_exporter-1.0.1.linux-amd64  /usr/local/
ln   -sv  /usr/local/node_exporter-1.0.1.linux-amd64  /usr/local/ node_exporter

解压得到node_exporter-1.0.1.linux-amd64目录，包含了二进制文件node_exporter，执行前需要添加可执行权限。

安装node_exporter

步骤二：启动node_exporter。

添加可执行权限，命令如下：

chmod  +x  node_exporter

后台运行服务，命令如下：

nohup ./node_exporter &

运行状态如下图所示：

运行node_exporter

Promethues配置文件解析

Promethues的配置文件如下图所示：

Promethues配置文件

从上图可看出，配置文件promethues包括四大配置模块，分别是：global、alerting、rule_files、scrape_configs，分别表示全局参数模块配置、告警模块配置、规则模块配置、抓取目标模块配置。

各模块的参数注解如下图所示：

参数注解

监控数据展示

为了可视化监控数据，本次使用Grafana作为数据展示工具（暂不涉及告警部分）。关于Grafana的详细安装方法，可查看文章“手把手教你打造Jmeter压测可视化监控平台”。

使用Grafana可视化监控数据时，需要先配置数据的来源。数据来源有多种类型：Promethues、InfluxDB、MySQL等，根据采集数据存储的数据库类型进行选择。具体操作步骤如下：

数据验证

1. 访问Promethues管理界面：http://{ip}:9090/，打开Promethues服务发现，操作方法如下图所示：

打开Promethues服务发现

2. 查看监控目标，操作方法如下图所示：

查看监控目标

3. 查看监控目标数据：点击Endpoint列下方地址，查看具体监控数据，如下图所示：

查看监控目标数据

上述操作，表示被监控系统已被纳入到Promethues当中。

添加数据源

访问http://{ip}3000/，打开Grafana管理界面，按照下述步骤添加数据源：

添加数据源

Grafana支持多种数据源，这里选择Promethues。

导入监控模板

通过官网https://grafana.com/grafana/dashboards, 可查找不同类别的dashboards，优先选择评分较高且下载量较多的。

监控模板

在线导入Dashboards（看板），操作方法如下图所示：

导入Dashboards（看板）

选择数据来源，如下图所示：

选择数据来源

查看监控数据

完成数据源和监控模板的导入后，即可查看监控数据，操作方法如下图所示：

查看监控数据

最终的监控数据看板，如下图所示：

监控数据看板

小结

服务资源监控包含中间件监控、压测数据监控、DB监控、日志监控、安全监控、API监控、业务控、客户监控、链路监控、服务资源监控等，文章所讲的只是服务资源监控的一小部分。

只有不断完善监控体系，才能精准地找出系统性能存在的瓶颈与风险，用更少的资源提供更好的服务。

划重点

1. 监控是度量和管理技术系统的工具和过程，且可实现从系统和应用程序生成的指标到业务价值的转换；

2. 监控神器Prometheus是一套开源的监控&报警&时间序列数据库的组合，其基本原理是通过HTTP协议周期性抓取被监控组件的状态；

3. Prometheus的主要模块包含：Prometheus Server、Exporters、 Pushgateway、PromQL、Alertmanager、Web UI等；

4. Prometheus将所有数据存储为时间序列：具有相同度量名称以及标签属于同一个指标。

绵薄之力【资源分享】

最后感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走：

下方这份完整的软件测试视频学习教程已经上传CSDN官方认证的二维码，朋友们如果需要可以自行免费领取【保证100%免费】

这些资料，对于想进阶【自动化测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴我走过了最艰难的路程，希望也能帮助到你！凡事要趁早，特别是技术行业，一定要提升技术功底。希望对大家有所帮助……基础知识、Linux必备、Shell、互联网程序原理、Mysql数据库、抓包工具专题、接口测试工具、测试进阶-Python编程、Web自动化测试、APP自动化测试、接口自动化测试、测试高级持续集成、测试架构开发测试框架、性能测试、安全测试等配套学习资源免费分享~

浅谈性能测试监控系统，做好关键指标的监控相关推荐

浅谈软件性能测试中关键指标的监控与分析（转）
浅谈软件性能测试中关键指标的监控与分析一.软件性能测试需要监控哪些关键指标? 软件性能测试的目的主要有以下三点: Ø 评价系统当前性能,判断系统是否满足预期的性能需求. Ø 寻找软件系统可能存在 ...
【ZZ】浅谈大型web系统架构 | 菜鸟教程
浅谈大型web系统架构 http://www.runoob.com/w3cnote/large-scale-web-system-architecture.html 转载于:https://www.c ...
浅谈Windows XP系统漏洞的封堵
浅谈Windows XP系统漏洞的封堵 2010年11月18日 9号浏览:96次发表评论阅读评论微软WindowsXP自出世以来就在中国市场中获得了广泛好评和客户的认同,它出色的兼容性和 ...
【转】浅谈人类视觉系统与卷积神经网络(CNN)的联系和区别
浅谈人类视觉系统与卷积神经网络(CNN)的联系和区别文章转载:叶强深度学习 / 强化学习 / 机器学习 / 算法 / 眼科学声明:本文为作者原创.欢迎免费规范转载.本文使用的一些图片素材来自于网 ...
浅谈列控系统的阶梯式分级速度控制中专有名词的表述问题
浅谈列控系统的阶梯式分级速度控制中专有名词的表述问题一.问题提出个人在学习列车运行控制系统的过程中发现,不同的文献中,在介绍和论述列车运行控制系统的阶梯式分级速度控制方式时,总会提到下面专有名词中 ...
浅谈空冷器系统在压缩机工艺中的应用
浅谈空冷器系统在压缩机工艺中的应用 1.工艺作用.工艺流程.工艺参数空冷器与压缩机一一对应,以压缩机Z201A为例: (1)正常工况:当压缩机出口温度TIT202A 超过60 度(可现场调节)时,关 ...
动力环境监控系统论文_动力环境监控系统现状及在电源维护中的作用
随着通信行业新业务.新技术的广泛应用,运营商的网络建设规模和容量越来越大,网络安全运行的风险也在加大.这就对通信电源的稳定性和安全性提出了更高的要求,通信电源在保障整个网络稳定运行中的作用也越来越重要 ...
Zabbix监控系统系列之五：SNMP监控Windows客户端
======= 系列目录 ======= Zabbix监控系统系列之一 : Server部署 Zabbix监控系统系列之二 : 初始化配置 Zabbix监控系统系列之三 :版本升级 Zabbix监控系 ...
TOOM网络舆情监控系统定制开发，舆情监控开源系统源码有哪些?
软件系统定制开发是指为满足客户特定业务需求而进行的软件系统开发工作.这通常涉及到对现有软件系统进行修改或开发新的软件系统来满足客户的特定要求.软件系统定制开发可以帮助客户解决其特定的业务问题,并为客户 ...

浅谈性能测试监控系统，做好关键指标的监控

监控概述

监控分类

监控神器Prometheus简介

Prometheus的优势

Prometheus的不足

Prometheus的组成及架构

Prometheus的数据模型

Prometheus的指标类型

Prometheus安装方法

部署Agent（node_exporter）

Promethues配置文件解析

Promethues配置文件

小结

划重点

绵薄之力【资源分享】

浅谈性能测试监控系统，做好关键指标的监控相关推荐

最新文章

热门文章