监控

监控度量指标

JMX

kafka启动时要条件JMX_PORT=9999这一项

JMX_PORT=9999 bin/kafka-server-start.sh config/server.properties

开启之后再zookeeper的/brokers/ids/brokerId节点中会有对应的呈现

JConsole

开启KMX之后最简单就是使用JConsole,通过jconsole连接service:jmx:rmi:///jndi/rmi://localhost:9999/jmxrmi或者
localhost:9999来查看对应的数据值

使用编程获取监控指标

 public class JmxConnectionDemo {private MBeanServerConnection conn;private String jmxURL;private String ipAndPort;JmxConnectionDemo(String ipAndPort){this.ipAndPort=ipAndPort;}public boolean init(){jmxURL = "service:jmx:rmi:///jndi/rmi://"+ipAndPort+"/jmxrmi";try {JMXServiceURL jmxServiceURL = new JMXServiceURL(jmxURL);JMXConnector connect = JMXConnectorFactory.connect(jmxServiceURL, null);conn = connect.getMBeanServerConnection();if (conn == null){return false;}}catch (Exception e){e.printStackTrace();}return true;}public double getMsgInPersSec(){String objectName = "kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec";try {ObjectName objectName1 = new ObjectName(objectName);Object val = conn.getAttribute(objectName1, "OneMinuteRate");if (val !=null){return (double) val;}} catch (Exception e) {e.printStackTrace();}return 0.0;}}public static void main(String[]args){JmxConnectionDemo conn = new JmxConnectionDemo("192.168.19.128:9999");conn.init();System.out.println(conn.getMsgInPersSec());}

broker监控指标(在getMsgInPersSec方法中的那个objectName)

活跃控制器
- 表示broker是否就是当前的集群控制器,可以是1或0
- 如果是1,broker就是当前的控制器,有且只有一个,如果出现两个,就是有一个本该退出的控制器线程被阻塞了,会导致管理任务无法正常执行,
kafka.controller:type= KafkaController,name=ActiveControllerCount
请求处理器空闲率
- kafka使用两个线程处理客户端的请求,网络处理线程池和请求处理器线程池,
  - 网络处理线程池负责通过网络读入和写出数据,
  - 请求处理器线程池负责处理来着客户端的请求,包括从磁盘读取消息和往磁盘写入消息
  kafka.server:type=KafkaRequestHandlePool,name=RequestHandlerAvgIdLePercent
主题流入字节
- 在对broker接受生产者客户端消息流量进行度量的时候,比较有用
kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec
主题流出字节
- 和主题流入字节差不多,度量增长的指标
kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec
主题流入的消息
- 以上两个只是每秒的流量,而这个是消息的数量,可以评估消息定制的是否太大还是太多
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec
分区数量
- 这个分区数量一般不会经常修改
kafka.server:type=BrokerTopicMetrics,name=PartitionCount
首领数量
- 应该和broker的数量保持一致,可以定时检验
kafka.server:type=BrokerTopicMetrics,name=LeaderCount
还有更多的生产者,消费者可以去官网或者百度

kafka Eagle(集群消息监控系统)

kafka之十一监控相关推荐

2021年大数据Kafka（十一）：❤️Kafka的消费者负载均衡机制和数据积压问题❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 Kafka的消费者负载均衡机制和数据积压问题一.kafka ...
【Kafka】Window下kafka开启JMX监控
1.概述因为需要,需要在windows下开启kafka,然后kafka开启JMX监控同样是修改kafka-server-start文件,但是修改的是kafka-server-start.bat I ...
kafka maven 依赖_SpringBoot入门建站全系列（二十八）整合Kafka做日志监控
SpringBoot入门建站全系列(二十八)整合Kafka做日志监控一.概述 Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列,可以处理大量的数据,并使您能够将消息从一个端 ...
SpringBoot入门建站全系列（二十八）整合Kafka做日志监控
SpringBoot入门建站全系列(二十八)整合Kafka做日志监控一.概述 Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列,可以处理大量的数据,并使您能够将消息从一个端 ...
Java Kafka 消费积压监控
Java Kafka 消费积压监控后端代码: Monitor.java代码: package com.suncreate.kafkaConsumerMonitor.service;import co ...
关于kafka生产者相关监控指标的理解（未解决）
关于生产者相关的监控指标含义的理解,希望大神帮忙进行确定下. 这边找了官网,看了网上各样的资料,但都无法帮我理解监控项目相关含义. 相关的监控项目是从jconsole获取的,并接入到了zabbix中. ...
Kafka Metrics指标监控
本文以kafka2.1.1版本为例文章目录 1.简介 1.1.官网地址 1.2.常见开源监控工具 1.3.GitHub源码地址 2.指标介绍 2.1.服务端指标 2.2.客户端指标 2.2.1. 生 ...
【kafka】JMX 监控kafka FINER RMI TCP getConnectionId IOException
1.背景使用Jmx监控kafka相关信息,但是运行的时候报错如下我的代码大致逻辑是 JMXServiceUrl jmx = new JMXServiceUrl(url) JMXConnector ...
【kafka】JMX 监控kafka kafka rmi NoSuchObjectException no such object in table
1.背景使用Jmx监控kafka相关信息,但是运行的时候报错如下我的代码大致逻辑是 JMXServiceUrl jmx = new JMXServiceUrl(url) JMXConnector ...

kafka之十一监控

监控

监控度量指标

JMX

JConsole

使用编程获取监控指标

broker监控指标(在getMsgInPersSec方法中的那个objectName)

kafka Eagle(集群消息监控系统)

kafka之十一监控相关推荐

最新文章

热门文章

kafka之十一 监控

监控

监控度量指标

JMX

JConsole

使用编程获取监控指标

broker监控指标(在getMsgInPersSec方法中的那个objectName)

kafka Eagle(集群消息监控系统)

kafka之十一 监控相关推荐

最新文章

热门文章

kafka之十一监控

kafka之十一监控相关推荐