kafka metric java,jmx_exporter+prometheus+grafana实现kafka metric监控

2.配置kafka的JMX PORT,修改bin/kafka-server-start.sh,添加一行export JMX_PORT="9999"，我这里用了9999端口。

3.下载jmx_exporter,链接 https://github.com/prometheus/jmx_exporter, 我将文件放在/opt/kafka/kafka_2.11-1.0.0/jmx_prometheus_javaagent-0.9.jar;

4.创建文件kafka-agent.yaml, 我放在/opt/kafka/kafka_2.11-1.0.0, 内容为你需要的kafka metrics

hostPort: 127.0.0.1:9999 # 这里9999为设置的jmx端口

lowercaseOutputName: true

whitelistObjectNames:

"kafka.controller:type=KafkaController,name=OfflinePartitionsCount"

"kafka.controller:type=KafkaController,name=ActiveControllerCount"

5.再次修改bin/kafka-server-start.sh,

添加 export KAFKA_OPTS="-javaagent:/opt/kafka/kafka_2.11-1.0.0/jmx_prometheus_javaagent-0.9.jar=9990:/opt/kafka

/kafka_2.11-1.0.0/kafka-agent.yaml";

注意jmx_prometheus_javaagent-0.9.jar=9990:, 9990为jmx_exporter提供数据的端口，之后我们访问http://xxx.xxx.xxx:9990/metrics就能获得需要的metrics数据:

如下：

kafka_server_brokertopicmetrics_fiveminuterate{name="TotalFetchRequestsPerSec",} 79706.84209535549

kafka_server_brokertopicmetrics_fiveminuterate{name="TotalProduceRequestsPerSec",} 214.84898012003208

...

6.如果使用了prometheus来抓取数据，只要增加prometheus抓取目标源如下, 再结合grafana来做监控看板。

- job_name: kafka-jmx

static_configs:

- targets:

- xxx.com:9990

- xxx:9990

注：当然你也可以使用传统的jmx监控 bean 获取kafa的 metric数据

kafka metric java,jmx_exporter+prometheus+grafana实现kafka metric监控相关推荐

视频教程-Prometheus+Grafana搭建全方位的监控告警系统-Linux
Prometheus+Grafana搭建全方位的监控告警系统高级运维工程师.资深DevOps工程师,精通kubernetes容器编排工具,熟练使用linux操作系统,多年线上线下教学经验韩先超 ¥ ...
使用Prometheus+grafana打造高逼格监控平台
前言: 笔者看来, 监控不应该只是监控,除了及时有效的报警,更应该"好看",因为视觉上的感受更能给我们直观的感受,更能从绚丽的走势中发现异常, 如果你觉得监控就应该像老牌监控nag ...
搭建Prometheus+Grafana的云平台监控系统
1.1 Prometheus和Grafana概述 1.1.1 Prometheus概述 Prometheus(普罗米修斯)是一套开源的监控&报警&时间序列数据库的组合,起始是由Soun ...
Prometheus+Grafana 搭建全方位的监控告警系统
一.Prometheus介绍 Prometheus是一个最初在SoundCloud上构建的监控系统.自2012年成为社区开源项目,拥有非常活跃的开发人员和用户社区.为强调开源及独立维护,Prometh ...
Spring Boot2.x-14 使用Prometheus + Grafana 实现可视化的监控
文章目录环境信息 Prometheus 组件下载 & 安装通过指定配置文件prometheus.yml启动Prometheus 查看采集到的性能指标查看prometheus规则查看监 ...
prometheus+grafana对数据库mysql监控
安装 mysql docker run --name mysql-test -p MYSQL ROOT_PASSWORD=123456 -p23306:3306 mysql:5.7.26 启动镜像的时 ...
（四） prometheus + grafana + alertmanager 配置Kafka监控
安装请看https://blog.51cto.com/liuqs/2027365 ,最好是对应的版本组件,否则可能会有差别. (一)prometheus + grafana + alertmanage ...
SpringBoot应用监控SpringBoot+Prometheus+Grafana
SpringBoot应用监控SpringBoot+Prometheus+Grafana 1. SpringBoot应用监控 1.1 SpringBoot应用监控 1.2 SpringBoot应用搭建 ...
2021年大数据Kafka（五）：❤️Kafka的java API编写❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 Kafka的java API编写一.生产者代码第一步: ...

kafka metric java,jmx_exporter+prometheus+grafana实现kafka metric监控

kafka metric java,jmx_exporter+prometheus+grafana实现kafka metric监控相关推荐

最新文章

热门文章