Kafka 消息监控 - Kafka Eagle
1.概述
在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper 客户端工具,可以很方便的完成我们的工作。随着业务的复杂化,Group 和 Topic 的增加,此时我们使用 Kafka 提供的命令工具,已预感到力不从心,这时候 Kafka 的监控系统此刻便尤为显得重要,我们需要观察消费应用的详情。 监控系统业界有很多杰出的开源监控系统。我们在早期,有使用 KafkaMonitor 和 Kafka Manager 等,不过随着业务的快速发展,以及互联网公司特有的一些需求,现有的开源的监控系统在性能、扩展性、和 DEVS 的使用效率方面,已经无法满足了。 因此,我们在过去的时间里,从互联网公司的一些需求出发,从各位 DEVS 的使用经验和反馈出发,结合业界的一些开源的 Kafka 消息监控,用监控的一些思考出发,设计开发了现在 Kafka 集群消息监控系统:Kafka Eagle。
Kafka Eagle 用于监控 Kafka 集群中 Topic 被消费的情况。包含 Lag 的产生,Offset 的变动,Partition 的分布,Owner ,Topic 被创建的时间和修改的时间等信息。下载地址如下所示:
- [Kafka Eagle 下载地址]
- [Kafka Eagle Github]
2.内容
Kafka Eagle 涉及以下内容模块:
- Dashboard
- Topic(Create & List)
- Consumers
- Cluster Info
2.1 Dashboard
我们通过在浏览器中输入 http://host:port/ke,访问 Kafka Eagle 的 Dashboard 页面。该页面包含以下内容:
- Brokers
- Topics
- Zookeepers
- Consumers
- Kafka Brokers Graph
展示 Kafka 集群的 Topic 数量,消费者数量,Kafka 的 Brokers 数,以及所属的 Zookeeper 集群信息。Dashboard 信息展示截图如下:
2.2 Topic
在 Topic 模块下,包含创建 Topic 和展示 Topic 信息详情。
2.2.1 Create
通过创建模块可以创建一个自定义分区和备份数的 Topic。如下图所示:
2.2.2 List
该模块下列出 Kafka 集群中所有的 Topic,包含 Topic 的分区数,创建时间以及修改时间,如下图所示:
上图中,每一个 Topic 名称对应一个详情的超链接,通过该链接可以查看该 Topic 的详情,如:分区索引号,Leader,Replicas 和 Isr,如下图所示所示:
2.3 Consumers
该模块显示有消费记录的 Topic 信息,其中包含如下内容:
- Running
- Pending
- Active Topic Graph
- Offsets Rate Graph
2.4 Cluster Info
该模块显示 Kafka 集群信息和 Zookeeper 集群信息,包含如下内容:
- Kafka Broker Host & IP
- Kafka Broker Created & Modify Date
- Zookeeper Host & IP
3.数据采集
Kafka Eagel 监控的消息数据源,来自于 Zookeeper。由于创建,修改或是消费 Kafka 的消息,都会在 Zookeeper 中进行注册,我们可以从中获取数据的变动,例如:Topic,Brokers,Partitions 以及 Group 等,Kafka 在 Zookeeper 的结构存储,如下图所示:
4.总结
Kafka Eagle 的安装使用很简单,下载安装,配置好 Kafka 集群所属的 Zookeeper 集群地址即可,安装部署文档地址如下:
- Kafka Eagle 使用文档
5.结束语
这篇博客就和大家分享到这里,如果大家在研究学习的过程当中有什么问题,可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!
邮箱:smartloli.org@gmail.com
Twitter:https://twitter.com/smartloli
QQ群(Hadoop - 交流社区1):424769183
温馨提示:请大家加群的时候写上加群理由(姓名+公司/学校),方便管理员审核,谢谢!
热爱生活,享受编程,与君共勉!
本文转自哥不是小萝莉博客园博客,原文链接:http://www.cnblogs.com/smartloli/,如需转载请自行联系原作者
Kafka 消息监控 - Kafka Eagle相关推荐
- linux如何查看kafka消息队列,kafka以及消息队列详解
kafka以及消息队列详解 Kafka 是LinkedIn 开发的一个高性能.分布式的消息系统. 用途:广泛用于日志收集.流式数据处理.在线和离线消息分发等场景. 1. Kafka 将消息流按Topi ...
- kafka 消息队列
kafka 消息队列 kafka 架构原理 大数据时代来临,如果你还不知道Kafka那就真的out了!据统计,有三分之一的世界财富500强企业正在使用Kafka,包括所有TOP10旅游公司,7家TOP ...
- kafka-12-Kafka消息时间戳kafka message timestamp
参考Kafka消息时间戳(kafka message timestamp) 1 Kafka消息的时间戳 在消息中增加了一个时间戳字段和时间戳类型. 目前支持的时间戳类型有两种:CreateTime和L ...
- kafka消息服务的producer、broker、consumer的配置
2019独角兽企业重金招聘Python工程师标准>>> server.properties配置: server.properties中所有配置参数说明(解释)如下列表: 参数 说明( ...
- 光速入门消息队列Kafka
文章目录 光速入门消息队列Kafka 消息队列 知识要点 2.1 背景.问题的产生 2.2 消息队列应运而生 2.3 消息队列的特点 认识kafka 知识要点 2.1 认识kafka 2.2 kafk ...
- SpringBoot集成Kafka消息队列
1.说明 Spring可以方便的集成使用 Kafka消息队列 , 只需要引入依赖包spring-kafka, 注意版本兼容问题, 本文详细介绍SpringBoot集成Kafka的方法, 以及生产者和消 ...
- 基于jmx监控kafka_0542-6.1.0-非安全环境下Kafka管理工具Kafka Eagle安装使用
1.文档编写目的 Fayson在前面的文章介绍了<0374-如何在CDH集群中部署Kafka Manager>,本篇文章Fayson介绍另外一款的监控工具Kafka-eagle,它可以同时 ...
- 国内大神开源 Kafka 监控系统Eagle 使用教程
转自:https://www.cnblogs.com/smartloli/p/9371904.html 1.概述 最近有同学留言反馈了使用Kafka监控工具Kafka Eagle的一些问题,这里笔者特 ...
- kafka 监控(eagle)
topic:创建时topic名称 partition:分区编号 offset:表示该parition已经消费了多少条message logSize:表示该partition已经写了多少条message ...
最新文章
- JAVA抽象类和接口的区别【附经典分析用例Door】
- LSTM之父撰文,纪念这位图灵奖遗珠、“AI理论之父”
- golang从stdin中读取一行
- JQuery 实现遮罩层
- SpringBoot —— Bean的注入方式
- 圣三一学院计算机专业,360教育集团:爱尔兰都柏林大学圣三一学院计算机专业...
- 6-9 二叉树的非递归遍历 (20 分)
- JavaScript获取文本框光标的像素位置(转载)
- 单片机C语言PWM程序原理,单片机C语言程序设计:用 ADC0808 控制 PWM 输出
- mysql 23000_mysql – SQLSTATE [23000]:完整性约束违规:1452无法添加或更新子行:外键约束失败...
- 2021-10-18word2vec训练过程
- python输出生日程序_python生日算法
- 直连路由的配置-思科模拟器练习(Cisco Packet Tracer)
- 前端导入并解析excel文件,前端解析xlsx、xls格式文件、VUE解析xlsx、xls格式文件
- 文件夹共享失败解决方式
- html制作3d按钮,纯CSS3 3D按钮 按钮酷似牛奶般剔透
- stk中天体坐标系的定义
- ps4帧数测试软件,《地平线:零之黎明》PS4/Pro帧数测试 优化极佳
- 14.3.6 创建组合索引
- VUE实现PDF在线阅读