kafka不使用自带zk_Kafka监控必备——Kafka-Eagle 2.0.2正式发布
对于经常使用Kafka的同学,拥有一个炫酷又实用的监控系统是非常有必要的。可以实时的监控数据流的情况,了解实时数据流的变化。
Kafka Eagle
Kafka Eagle是一个监控系统,监控Kafka群集以及偏移量,消费者等等。
通过Kafka Eagle可以看到当前的消费者组,对于每个组,他们正在使用的主题以及该组在每个主题中的偏移量,消费积压等等。这对于了解消息队列消费的速度以及消息队列消息写入的速度非常的有用。可以帮助我们调试Kafka生产者和消费者,也可以对Kafka系统的整体运作情况有一个宏观的认识。
支持的Kafka版本:0.8.2.x
,0.9.x
,0.10.x
,0.11.x
,1.x
,2.x
支持的系统:Mac OS X
,Linux
,Windows
JDK: JDK8+
自从Kafka Eagle开源以来,也得到了迅速的发展,目前GitHub的Star已经突破1.5K
下面我们来了解一下Kafka Eagle的核心功能。
功能展示
大屏支持
炫酷的大屏展示,生产者消费者情况,消息积压情况。
报警支持
自定义报警阈值,触发报警
报警消息情况
除了支持email
警报外,Kafka Eagle还支持即时消息警报,例如DingDing
和WeChat
。
消费者组列表和活动图
消费者组的情况
主题列表明细
每个主题的具体情况
消费者与生产者图表
特色功能
偏移量
Kafka的偏移量存储位置发生过变化,这一直是监控的一大难题。
- Kafka0.8.2之前的版本,偏移量存储于Zookeeper中。
- 0.10.0以后的Kafka版本默认建议在Kafka主题(__consumer_offsets)中。
这两种Kafka Eagle都支持,Kafka Eagle支持多个偏移量存储路径。如果将它们存储在Zookeeper和Kafka中,则可以像这样配置它们。
# Set kafka cluster alias
kafka.eagle.zk.cluster.alias=cluster1,cluster2# Set kafka cluster zookeeper address
cluster1.zk.list=xdn1:2181,xdn2:2181,xdn3:2181
cluster2.zk.list=tdn1:2181,tdn2:2181,tdn3:2181# Set kafka cluster offset storage path
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=zookeeper
Kafka SQL
可以使用SQL语法查询Kafka消息
select * from ke_p3_r2 where `partition` in (0,1,2) limit 10
kafka不使用自带zk_Kafka监控必备——Kafka-Eagle 2.0.2正式发布相关推荐
- kafka不使用自带zk_kafka概念扫盲
一.kafka概述 1.1.定义 Kakfa是一个分布式的基于发布/订阅模式的消息队列(message queue),主要应用于大数据的实时处理领域 1.2.消息队列 1.2.1.传统的消息队列&am ...
- kafka不使用自带zk_kafka 安装部署教程
kafka 安装部署教程 1. 下载 官网链接 http://kafka.apache.org/downloads 浙大源 http://mirrors.tuna.tsinghua.edu.cn/ap ...
- kafka 集群_Kafka集群监控系统Kafka Eagle部署与体验
Kafka Eagle是一款开源的Kafka集群监控系统 能够实现broker级常见的JMX监控: 能对consumer消费进度进行监控: 能在页面上直接对多个集群进行管理: 安装方式简单,二进制包解 ...
- 从未如此简单:10分钟带你逆袭Kafka!
来源 | 51CTO 技术栈 作者 | 故事凌 封图| CSDN下载于视觉中国 Apache Kafka 是一个快速.可扩展的.高吞吐的.可容错的分布式"发布-订阅"消息系统, 使 ...
- 10分钟带你逆袭kafka之路
作者:故事凌 1. kafka概述 ##1.1 kafka简介 Apache Kafka 是一个快速.可扩展的.高吞吐的.可容错的分布式"发布-订阅"消息系统, 使用 Scala ...
- 来吧,1分钟带你玩转Kafka
[摘要] Kafka让人又爱又恨?来吧,一分钟带你玩转它 说起Kafka,许多使用者对它是又爱又恨.Kafka是一种分布式的.基于发布/订阅的消息系统,其极致体验让人欲罢不能,但操心的运维.复杂的安全 ...
- 远程视频监控必备专业知识
远程视频监控必备专业知识 1.什么是网络视频监控? 网络视频系统通常指的是安全监视和远程监控领域内用于特定应用的IP监视系统,该系统使用户能够通过IP网络(LAN/WAN/Internet)实现视频监 ...
- DataPipeline |《Apache Kafka实战》作者胡夕:Apache Kafka监控与调优
胡夕,<Apache Kafka实战>作者,北航计算机硕士毕业,现任某互金公司计算平台总监,曾就职于IBM.搜狗.微博等公司.国内活跃的Kafka代码贡献者. 前言 虽然目前Apache ...
- ZABBIX利用自带模板监控mysql数据库
***** ZABBIX利用自带模板监控mysql数据库**** 监控效果图 增删改查 慢查询 每秒总执行次数 1. 进入主题:先搭建好zabbix服务器,并把mysql作为agent端(建议先在线下 ...
最新文章
- GIS项目中数据开源、工具开源、开发开源的解决方案
- linux 网卡配置不一致,linux环境下,双网卡配置不同网段后,路由问题
- 九歌计算机在线作诗硬件原理,“九歌”作诗是如何炼成的?
- php 前端加密密码,WEB前端对应PHP后端的AES加密解密代码
- C++之继承探究(四):继承的使用
- 低学历、文科出身,我如何从月薪不到 3000 逆袭为大厂高薪程序员?
- 歪果仁眼中的中国理工科科研调查:让学术氛围更自由成最大呼声 | 报告
- dbscan论文_重点关注!我校论文被CCF A类人工智能国际顶级学术会议IJCAI录用
- vmware workstation不可恢复错误:(vthread-7)
- Nginx从入门到精通(全)
- 【通信原理】第四章 -- 信道
- 电脑系统重装篇1:Windows 10各版本介绍
- 视频剪辑,就上这5个网站找素材,免费可商用。
- 电脑右下角网络图标有个红叉但是可以上网
- nrm安装成功后但是不能使用
- 【Java基础快速入门】概述及开发环境搭建
- 语义分析语义关联挖掘
- 见证国内人工智能与机器人技术的进步
- R/RStudio 常用函数
- 服务器omv系统,在Debian上安装OpenMediaVault开源NAS系统
热门文章
- Flutter 系列文章:Flutter Icon 控件介绍
- 我的Android进阶之旅------Android中高低API版本兼容使用@TargetApi或者@SuppressLint(NewApi)...
- golang+数据库定时任务
- 网站外链数量的变化可以从哪几点去理解
- Centos5.5安装使用Xen
- java源程序加密解决方案(基于Classloader解密)
- 解决ora-280000 the account is locked
- 大牛推荐的15本学习数据分析挖掘的好书
- kafka+zookeeper内外网双网卡配置(针对不同网段)
- 自定义负载均衡策略: