Metricbeat介绍

Metricbeat 是一个轻量级指标采集器，可以从系统或服务收集指标存储到es中，进行试试分析

Metricbeat组成

Metricbeat有2部分组成，一部分是Module，另一部分为Metricset。
Module
收集的对象，如：mysql、redis、nginx、操作系统等；
Metricset
收集指标的集合，如：cpu、memory、network等；

以Redis Module为例：

Metricbeat部署及测试

部署

下载安装包，并解压到 /opt/apps 目录下，目录结构如下

[root@localhost apps]# ll
总用量 329376
drwxr-xr-x. 9 elsearch elsearch       155 6月  23 15:43 elasticsearch-6.5.4
-rw-r--r--. 1 root     root     113322649 6月  23 15:24 elasticsearch-6.5.4.tar.gz
lrwxrwxrwx. 1 elsearch elsearch        19 6月  23 15:32 elsearch -> elasticsearch-6.5.4
lrwxrwxrwx. 1 root     root            27 6月  28 13:43 filebeat -> filebeat-6.5.4-linux-x86_64
drwxr-xr-x. 7 root     root          4096 6月  28 14:58 filebeat-6.5.4-linux-x86_64
-rw-r--r--. 1 root     root      11287049 6月  27 19:14 filebeat-6.5.4-linux-x86_64.tar.gz
lrwxrwxrwx. 1 root     root            13 6月  23 14:50 jdk -> jdk1.8.0_191/
drwxr-xr-x. 7       10      143       245 10月  6 2018 jdk1.8.0_191
-rw-r--r--. 1 root     root     191753373 12月 25 2018 jdk-8u191-linux-x64.tar.gz
lrwxrwxrwx. 1 root     root            29 6月  28 18:07 metricbeat -> metricbeat-6.5.4-linux-x86_64
drwxr-xr-x. 4 root     root           204 6月  28 18:06 metricbeat-6.5.4-linux-x86_64
-rw-r--r--. 1 root     root      19925669 6月  27 20:28 metricbeat-6.5.4-linux-x86_64.tar.gz
lrwxrwxrwx. 1 root     root            12 6月  28 13:34 nginx -> nginx-1.12.2
drwxr-xr-x. 9     1001     1001       186 6月  28 13:39 nginx-1.12.2
-rw-r--r--. 1 root     root        981687 2月  19 2019 nginx-1.12.2.tar.gz

配置及测试

修改配置文件metricbeat.yml内容如下：

[root@localhost metricbeat]# vi metricbeat.yml
metricbeat.config.modules:path: ${path.config}/modules.d/*.ymlreload.enabled: false
setup.template.settings:index.number_of_shards: 1index.codec: best_compression
setup.kibana:
output.elasticsearch:hosts: ["192.168.12.10:9200","192.168.12.11:9200","192.168.12.12:9200"]
processors:- add_host_metadata: ~- add_cloud_metadata: ~

配置中使用了 modules.d 下的模块，我们可以看到该目录下目前只有 system.yml 文件可用

启动 metricbeat 服务
./metricbeat -e
可以在es中看到采集的系统指标信息

Module 使用

启用nginx Module 并修改配置

[root@localhost metricbeat]# ./metricbeat modules enable nginx
Enabled nginx

修改配置文件 odules.d/nginx.yml 内容如下

- module: nginx#metricsets:#  - stubstatusperiod: 10s# Nginx hostshosts: ["http://192.168.12.10"]# Path to server status. Default server-statusserver_status_path: "nginx-status"#username: "user"#password: "secret"

nginx 安装对应的Module

在nginx中，需要开启状态查询，才能查询到指标数据
重新编译安装nginx

./configure --prefix=/usr/local/nginx --with-http_stub_status_module

make
make install

修改 nginx配置 nginx.conf 增加如下配置：

location /nginx-status {
stub_status on;
access_log off;
}

启动nginx 并访问 http://192.168.12.10/nginx-status 可以查询到nginx状态如下

指标说明
Active connections：正在处理的活动连接数
server accepts handled requests
第一个 server 表示Nginx启动到现在共处理了9个连接
第二个 accepts 表示Nginx启动到现在共成功创建 9 次握手
第三个 handled requests 表示总共处理了 21 次请求
请求丢失数 = 握手数 - 连接数，可以看出目前为止没有丢失请求
Reading: 0 Writing: 1 Waiting: 1
Reading：Nginx 读取到客户端的 Header 信息数
Writing：Nginx 返回给客户端 Header 信息数
Waiting：Nginx 已经处理完正在等候下一次请求指令的驻留链接（开启keep-alive的情况下，这个值等于Active - (Reading+Writing)）

启动 metricbeat 并观察es中指标结果

#启动
./metricbeat -e
es中可以看到采集到的 nginx数据如下

Metricbeat 指标采集工具应用示例相关推荐

可视化监控指标展示工具 grafana 简介
目录 1.概述--美观.强大的可视化监控指标展示工具 1.1基本概念 2.全面瓦解 2.1登录grafana 2.2数据源配置 2.3仪表盘配置 3.特殊配置 3.1变量之interval 3.2变量 ...
沃特玛采集均衡模块_云原生在京东丨云原生时代下的监控：如何基于云原生进行指标采集？...
从 Kubernetes 成为容器管理领域的事实标准开始,基于云原生也就是基于 Kubernetes 原生.在云的体系下,基础硬件基本上都被抽象化.模糊化,硬故障需要人为干预的频次在逐渐降低,健康检查 ...
mysql url查找_Superl-url：一款开源、强大的关键词URL采集工具
原标题:Superl-url:一款开源.强大的关键词URL采集工具 superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集. 程 ...
Superl-url：一款开源关键词URL采集工具
superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集. 程序主要运用于安全渗透测试项目,以及批量评估各类CMS系统0DAY ...
8种网页数据的采集工具
10种AI训练数据采集工具排行榜 8种网页数据的采集工具 1.目前常用的8种数据网站 2.如何写Python爬虫: 3.人生第一个爬虫代码示例: 另外: 8种网页数据的采集工具如何收集网页数据,来 ...
前端性能优化方法与实战05 指标采集：白屏、卡顿、网络环境指标采集方法
上一讲我们介绍了首屏时间的指标采集,这一讲我们来聊聊前端其他的性能指标采集,比如白屏.卡顿和网络环境. 你乘火车.地铁.飞机都走过安检吧?如果说首屏时间类似你过安检的时刻,那么,白屏时间就是你排队到安 ...
metricbeat指标简介
metricbeat指标简介一.metricbeat指标二.window和linux的不同三.window下找不到硬盘指标一.metricbeat指标系统指标采集汇总指标类型指标指标含 ...
一步步实现cnblogs博客采集工具
项目前的准备工作 cnblogs采集工具的相关介绍: 项目名称: CnblogsFan 简介: 用来采集cnblogs随笔的一个开源工具. 开发语言: Python 图形库: WxPython 开发环 ...
5种电商数据的采集工具
10种AI训练数据采集工具排行榜 5种电商数据的采集工具 1.目前常用的10种数据网站 2.如何写Python爬虫: 3.人生第一个爬虫代码示例: 另外: 5种电商数据的采集工具如何收集AI训练数 ...

Metricbeat 指标采集工具应用示例

文章目录