一、简介

kafka-eagle是一个由国内团队开发的开源的可视化和管理软件。它可以同时监控多个集群、监控 Kafka 集群中 Topic
被消费的情况，并且包含 Kafka Manager
的相关功能等。可以说是既可以管理集群，又可以监控kafka的性能和消费情况，同时又支持sql查询。
具体介绍请参考：http://www.kafkaeagle.org/articles/docs/architecture/collect.html

二、下载、安装及配置

2.1 下载及安装

kafka-eagle的下载安装地址：http://www.kafka-eagle.org/index.html

kafka-eagle-bin-2.0.8.tar.gz
在任意服务节点创建 /opt/kafka-eagle/ 路径，将kafka-eagle-bin-2.0.8.tar.gz上传到该路径下

进行解压：tar -zxvf kafka-eagle-bin-2.0.8.tar.gz

得到 /opt/kafka-eagle/kafka-eagle-bin-2.0.8/efak-web-2.0.8-bin.tar.gz 包

对其进行解压：tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/kafka-eagle

得到 /opt/kafka-eagle/efak-web-2.0.8 路径。

2.2修改配置文件

vim /opt/kafka-eagle/efak-web-2.0.8/conf/system-config.properties

#如果有多组集群，可以配置类似cluster1的配置，集群名称不能重复。
######################################
# multi zookeeper & kafka cluster list
# Settings prefixed with 'kafka.eagle.' will be deprecated, use 'efak.' instead
######################################
efak.zk.cluster.alias=cluster1
cluster1.zk.list=XXX:2181,XXX:2181,XXX:2181
#cluster1.zk.list=srv193:2181
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181######################################
# zookeeper enable acl
######################################
cluster1.zk.acl.enable=false
cluster1.zk.acl.schema=digest
cluster1.zk.acl.username=root
cluster1.zk.acl.password=密码
######################################
# broker size online list
######################################
cluster1.efak.broker.size=20
######################################
# zk client thread limit
######################################
kafka.zk.limit.size=32
######################################
# EFAK webui port
######################################
efak.webui.port=8048
######################################
# kafka jmx acl and ssl authenticate
######################################
cluster1.efak.jmx.acl=false
cluster1.efak.jmx.user=keadmin
cluster1.efak.jmx.password=keadmin123
cluster1.efak.jmx.ssl=false
cluster1.efak.jmx.truststore.location=/data/ssl/certificates/kafka.truststore
cluster1.efak.jmx.truststore.password=ke123456
######################################
# kafka offset storage
######################################
cluster1.efak.offset.storage=kafka
#cluster2.efak.offset.storage=zk
######################################
# kafka jmx uri
######################################
cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/jmxrmi
######################################
# kafka metrics, 15 days by default
######################################
efak.metrics.charts=true
efak.metrics.retain=15
######################################
# kafka sql topic records max
######################################
efak.sql.topic.records.max=5000
efak.sql.topic.preview.records.max=10
#efak.sql.fix.error=true
#cluster1.kafka.eagle.sasl.client=/opt/kafka-eagle/efak-web-2.0.8/conf/kafka_client_jaas.conf
######################################
# delete kafka topic token
######################################
efak.topic.token=keadmin
######################################
# kafka sasl authenticate
######################################
cluster1.efak.sasl.enable=false
cluster1.efak.sasl.protocol=SASL_PLAINTEXT
cluster1.efak.sasl.mechanism=PLAN
cluster1.efak.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
cluster1.efak.sasl.client.id=
cluster1.efak.blacklist.topics=
cluster1.efak.sasl.cgroup.enable=false
cluster1.efak.sasl.cgroup.topics=
#cluster2.efak.sasl.enable=false
#cluster2.efak.sasl.protocol=SASL_PLAINTEXT
#cluster2.efak.sasl.mechanism=PLAIN
#cluster2.efak.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
#cluster2.efak.sasl.client.id=
#cluster2.efak.blacklist.topics=
#cluster2.efak.sasl.cgroup.enable=false
#cluster2.efak.sasl.cgroup.topics=
######################################
# kafka ssl authenticate
######################################
#cluster3.efak.ssl.enable=false
#cluster3.efak.ssl.protocol=SSL
#cluster3.efak.ssl.truststore.location=
#cluster3.efak.ssl.truststore.password=
#cluster3.efak.ssl.keystore.location=
#cluster3.efak.ssl.keystore.password=
#cluster3.efak.ssl.key.password=
#cluster3.efak.ssl.endpoint.identification.algorithm=https
#cluster3.efak.blacklist.topics=
#cluster3.efak.ssl.cgroup.enable=false
#cluster3.efak.ssl.cgroup.topics=
######################################
# kafka sqlite jdbc driver address
######################################
#efak.driver=org.sqlite.JDBC
#efak.url=jdbc:sqlite:/opt/kafka-eagle/efak-web-2.0.8/db/ke.db
#efak.username=root
#efak.password=123456
######################################
# kafka mysql jdbc driver address
######################################
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://srv190:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=密码

2.3 启动kafka-eagle

执行命令：

/opt/kafka-eagle/efak-web-2.0.8/bin/ke.sh start

需要注意的是，如果启动失败，要先给ke.sh权限：

chmod +x /opt/kafka-eagle/efak-web-2.0.8/bin/ke.sh

重启：

bin/ke.sh restart

关闭：

bin/ke.sh stop

登录网址：http://服务器ip:8048/
用户：admin
密码：123456

三、web页面

3.1 网页显示问题

注意：如果启动登录web后，首页出现如下图红色方框中数值均为 0，很大的可能是kafka的原数据信息没有直接存储在zookeeper的根路径下（默认存储路径），kafka-eagle无法检测到。

解决办法：
1、修改kafka的源数据信息在zookeeper的存储路径到根路径

2、到 /opt/kafka-eagle/efak-web-2.0.8/kms 路径下修改对应的路径配置，此处没有深究。此目录下的 conf/ 路径下有 tomcat、web 相关的 .xml 文件，感觉可以进行修改配置。

3.2 功能模块概述

1、Dashborad：监控kafka的broker、topic、consumer 的数量和zookeeper的数量；显示topic详细信息、内存使用情况和broker分布节点。

2、BScreen：大屏从左到右展示的是过去7天的生产记录、从左到右展示的是过去7天的消费记录、总的topic记录数、今天生产者的信息、今天消费者的信息、今天滞后的信息。

3、Topics：对 topic的具体监控可操作

其中
KSQL模块：可以用于topic的信息查询，简洁方便；
Mock模块：可以通过选取主题，直接模拟插入数据，省去创建专门的producer窗口；
Manage模块：可以编辑主题配置，如清空主题数据、添加配置、主题配置描述；

4、Consumers：展示消费者组的信息和状态

5、Cluster：展示ZK和kakfa信息和ZK客户端查询（支持部分功能）

6、Metrics：通过 JMX 监控kafka，并展示ZK 监控细节

7、系统配置：配置用户、权限等

注：如果在使用Kafka Eagle系统中遇到其他问题，可以看/opt/kafka-eagle/efak-web-2.0.8/logs/ke_console.out日志来分析具体的异常信息。

kafka-eagle部署与使用相关推荐

kafka 集群_Kafka集群监控系统Kafka Eagle部署与体验
Kafka Eagle是一款开源的Kafka集群监控系统能够实现broker级常见的JMX监控: 能对consumer消费进度进行监控: 能在页面上直接对多个集群进行管理: 安装方式简单,二进制包解 ...
Kafka Eagle服务部署
一.概述 Kafka Eagle监控系统是一款用来监控Kafka集群的工具,目前更新的版本是v1.4.3,支持管理多个Kafka集群.管理Kafka主题(包含查看.删除.创建等).消费者组合消费者实例 ...
Kafka 消息监控 - Kafka Eagle
1.概述在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper 客户端工具,可以很方便 ...
Kafka Eagle 源码解读
1.概述在<Kafka 消息监控 - Kafka Eagle>一文中,简单的介绍了 Kafka Eagle这款监控工具的作用,截图预览,以及使用详情.今天笔者通过其源码来解读实现细节.目 ...
基于jmx监控kafka_0542-6.1.0-非安全环境下Kafka管理工具Kafka Eagle安装使用
1.文档编写目的 Fayson在前面的文章介绍了<0374-如何在CDH集群中部署Kafka Manager>,本篇文章Fayson介绍另外一款的监控工具Kafka-eagle,它可以同时 ...
Kafka Eagle的安装（kafka-eagle-bin-1.3.7）
目录介绍: 一.安装准备二.安装配置三.验证介绍: Kafka Eagle是一款由国内公司开源的Kafka集群监控系统,可以用来监视kafka集群的broker状态.Topic信息.IO.内存 ...
kafka eagle安装与使用
1.概述在开发工作当中,在使用 Kafka 集群进行消息的生产和消费时,数据的变动以及topic的管理是我们所关心的内容,这就要求一套行之有效的监控管理体系.常见的kafka监控软件有4种如下所示 ...
Apache Kafka: 优化部署的10个最佳实践
原文作者:Ben Bromhead 译者:江玮原文地址:https://www.infoq.com/articles/apache-kafka-best-practices-to-opti ...
Linux下kafka的部署
Linux下kafka的部署转载于:https://www.cnblogs.com/wuzm/p/11323797.html
Kafka 监控 Kafka Eagle 图形化版本
文章目录一.Kafka Eagle 下载.编译流程 1. Kafka Eagle下载 2. 解压Kafka Eagle 3. 进入解压的目录 4. 编译项目 5. 添加编译环境 6. 运行脚本编译项 ...

kafka-eagle部署与使用

文章目录