kafka监控（一）：kafka-eagle

kafka-eagle是一款kafka监控软件，是笔者在接触kafka这几年来，使用的最好的一款开源监控工具。它可以同时监控多个集群，监控 Kafka 集群中 Topic 被消费的情况。包含 Lag 的产生，Offset 的变动，Partition 的分布。并且包含KafkaMonitor 和 Kafka Manager 的相关功能。可以说是既可以管理集群，又可以监控kafka的性能和消费情况，同时又支持sql查询。居家旅行必备。

kafka-eagle官方文档：https://ke.smartloli.org/3.Manuals/9.KafkaSQL.html

kafka-eagle官方下载：http://download.smartloli.org/

kafka-eagle安装

解压

tar -zxvf kafka-eagle-${version}-bin.tar.gz

配置环境变量

vi /etc/profile

export KE_HOME=/data/soft/new/kafka-eagle
export PATH=$PATH:$KE_HOME/bin

修改配置文件

cd ${KE_HOME}/conf
vi system-config.properties

# Multi zookeeper&kafka cluster list -- The client connection address of the Zookeeper cluster is set here

#可以配置多个集群，单集群这里可以把cluster2注释掉
kafka.eagle.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
cluster2.zk.list=xdn1:2181,xdn2:2181,xdn3:2181

# Zkcli limit -- Zookeeper cluster allows the number of clients to connect to

#zookeeper线程数
kafka.zk.limit.size=25

# Kafka Eagle webui port -- WebConsole port access address

#kafka-eagle页面访问端口
kafka.eagle.webui.port=8048

# Kafka offset storage -- Offset stored in a Kafka cluster, if stored in the zookeeper, you can not use this option

#配置存储偏移量位置，注意低版本的api存储的还是zookeeper。不同集群可以分开配置
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=kafka

# Whether the Kafka performance monitoring diagram is enabled

#是否启用监控图表
kafka.eagle.metrics.charts=false

# If offset is out of range occurs, enable this property -- Only suitable for kafka sql

#使用kafka-sql时可以考虑开启
kafka.eagle.sql.fix.error=false

# Delete kafka topic token -- Set to delete the topic token, so that administrators can have the right to delete

#删除topic操作超级管理员token
kafka.eagle.topic.token=keadmin

# kafka sasl authenticate, current support SASL_PLAINTEXT

#是否启用SASL协议
kafka.eagle.sasl.enable=false
kafka.eagle.sasl.protocol=SASL_PLAINTEXT
kafka.eagle.sasl.mechanism=PLAIN
kafka.eagle.sasl.client=<kafka_client_jaas.conf file path>

#邮件服务，用户报警发送

kafka.eagle.mail.enable=true
kafka.eagle.mail.sa=alert_sa
kafka.eagle.mail.username=alert_sa@163.com
kafka.eagle.mail.password=mqslimczkdqabbbh
kafka.eagle.mail.server.host=smtp.163.com
kafka.eagle.mail.server.port=25

#kafka-eagle默认存储在sqlite，注意配置路径

# Default use sqlite to store data
kafka.eagle.driver=org.sqlite.JDBC
# It is important to note that the '/hadoop/kafka-eagle/db' path must exist.
kafka.eagle.url=jdbc:sqlite:/{安装路径}/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=smartloli

# <Optional> set mysql address

#也可以存储在mysql中。
#kafka.eagle.driver=com.mysql.jdbc.Driver
#kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
#kafka.eagle.username=root
#kafka.eagle.password=smartloli

启动

cd ${KE_HOME}/bin
chmod +x ke.sh
./ke.sh start

---
更多文章关注公众号

——————————————————————————————————

作者：桃花惜春风
转载请标明出处，原文地址：
https://blog.csdn.net/xiaoyu_BD/article/details/81700536

如果感觉本文对您有帮助，请留下您的赞，您的支持是我坚持写作最大的动力，谢谢！

kafka监控（一）：kafka-eagle相关推荐

Kafka系列（六）、Kafka开发套件kafka lenses 安装及使用（带WebUI）
目录介绍安装使用 Kafka系列: kafka 2.4.1单机版部署及使用 kafka监控系统kafka eagle安装使用滴滴开源的kafka-manager编译及部署使用 kafka管理监 ...
Kafka 监控 Kafka Eagle 图形化版本
文章目录一.Kafka Eagle 下载.编译流程 1. Kafka Eagle下载 2. 解压Kafka Eagle 3. 进入解压的目录 4. 编译项目 5. 添加编译环境 6. 运行脚本编译项 ...
基于jmx监控kafka_0542-6.1.0-非安全环境下Kafka管理工具Kafka Eagle安装使用
1.文档编写目的 Fayson在前面的文章介绍了<0374-如何在CDH集群中部署Kafka Manager>,本篇文章Fayson介绍另外一款的监控工具Kafka-eagle,它可以同时 ...
Kafka监控eagle
Kafka 监控 [root@node6 ~]# /opt/zookeeper/bin/zk [root@node6 ~]# /opt/kafka/bin/kafka-server-start.sh ...
DataPipeline |《Apache Kafka实战》作者胡夕：Apache Kafka监控与调优
胡夕,<Apache Kafka实战>作者,北航计算机硕士毕业,现任某互金公司计算平台总监,曾就职于IBM.搜狗.微博等公司.国内活跃的Kafka代码贡献者. 前言虽然目前Apache ...
吊炸天的 Kafka 图形化工具 Eagle，必须推荐给你！
Kafka是当下非常流行的消息中间件,据官网透露,已有成千上万的公司在使用它.最近实践了一波Kafka,确实很好很强大.今天我们来从三个方面学习下Kafka:Kafaka在Linux下的安装,Kafk ...
【强烈推荐一款吊炸天的 Kafka 图形化工具 Eagle】
Kafka是当下非常流行的消息中间件,据官网透露,已有成千上万的公司在使用它.最近实践了一波Kafka,确实很好很强大.今天我们来从三个方面学习下Kafka:Kafaka在Linux下的安装,Kafk ...
Kafka系列 —— Kafka监控
Kafka系列文章: Kafka系列 -- 入门及应用场景 & 部署 & 简单测试 Kafka系列 -- Kafka核心概念 Kafka系列 -- Kafka常用命令常见Kafka监 ...
吊炸天的 Kafka 图形化工具 Eagle，必须推荐给你
Kafka是当下非常流行的消息中间件,据官网透露,已有成千上万的公司在使用它.最近实践了一波Kafka,确实很好很强大.今天我们来从三个方面学习下Kafka:Kafaka在Linux下的安装,Kafk ...

kafka监控（一）：kafka-eagle

kafka监控（一）：kafka-eagle相关推荐

最新文章

热门文章