centos7安装Kafka Eagle
文章目录
- 前言
- 一、kafka-eagle功能介绍
- 二、环境和安装
- 1、安装JDK1.8
- 2、启动zk和kafka的服务
- 3、wget下载安装包
- 4、解压
- 5、设置环境变量
- 6、创建数据库
- 7、修改配置文件
- 三、测试
- 1、启动
- 2、登录页面
- 总结
前言
- Kafka Eagle是一款用于监控和管理Apache Kafka的完全开源系统,目前托管在Github,由笔者和一些开源爱好者共同维护。它提供了完善的管理页面,很方面的去管理和可视化Kafka集群的一些信息,例如Broker详情、性能指标趋势、Topic集合、消费者信息等。
一、kafka-eagle功能介绍
- 1.展示Kafka集群的Broker数、Topic数、Consumer数、以及Topic LogSize Top10和Topic Capacity Top10数据。
- 2.主题创建、主题管理、主题预览、KSQL查询主题、主题数据写入、主题属性配置等
- 3.监控不同消费者组中的Topic被消费的详情,例如LogSize、Offsets、以及Lag等。同时,支持查看Lag的历史趋势图。
- 4.Kafka集群和Zookeeper集群的详情展示,例如Kafka的IP和端口、版本号、启动时间、Zookeeper的Leader和Follower。同时,还支持多Kafka集群切换,以及Zookeeper Client数据查看等功能。
- 5.监控Kafka集群和Zookeeper集群的核心指标,包含Kafka的消息发送趋势、消息大小接收与发送趋势、Zookeeper的连接数趋势等。同时,还支持查看Broker的瞬时指标数据。
- 6.告警集群异常和消费者应用Lag异常。同时,支持多种IM告警方式,例如邮件、钉钉、微信、Webhook等。
- 7.包含用户管理,例如创建用户、用户授权、资源管理等。
- 8.展示消费者和生产者当日及最近7天趋势、Kafka集群读写速度、Kafka集群历史总记录等
二、环境和安装
1、安装JDK1.8
2、启动zk和kafka的服务
- kafka的安装和使用
3、wget下载安装包
wget https://github.com/smartloli/kafka-eagle-bin/archive/v2.1.0.tar.gz
4、解压
tar -zxvf v2.1.0.tar.gz
cd kafka-eagle-bin-2.1.0/
tar -zxvf efak-web-2.1.0-bin.tar.gz
mkdir -p /data/software/kafka-eagle
mv kafka-eagle-bin-2.1.0/efak-web-2.1.0/* kafka-eagle/
5、设置环境变量
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64
export KE_HOME=/data/software/kafka-eagle
export PATH=$PATH:$KE_HOME/bin
#使其生效
source /etc/profile
6、创建数据库
- CentOS7安装MySQL8
7、修改配置文件
修改conf目录下的system-config.properties
文件
######################################
# multi zookeeper & kafka cluster list
######################################
##我这里只安装了一个zk,多个可以按照参考资料中官网设置
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=localhost:2181######################################
# zookeeper enable acl
##需要zk acl可以开启修改此处的配置
######################################
cluster1.zk.acl.enable=false
cluster1.zk.acl.schema=digest
cluster1.zk.acl.username=test
cluster1.zk.acl.password=test123######################################
# broker size online list
######################################
cluster1.kafka.eagle.broker.size=20######################################
# zk client thread limit
######################################
kafka.zk.limit.size=25######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048######################################
# kafka jmx acl and ssl authenticate
######################################
cluster1.kafka.eagle.jmx.acl=false
cluster1.kafka.eagle.jmx.user=keadmin
cluster1.kafka.eagle.jmx.password=keadmin123
cluster1.kafka.eagle.jmx.ssl=false
cluster1.kafka.eagle.jmx.truststore.location=/Users/dengjie/workspace/ssl/certificates/kafka.truststore
cluster1.kafka.eagle.jmx.truststore.password=ke123456######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=zk######################################
# kafka metrics, 15 days by default
######################################
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=15######################################
# kafka sql topic records max
######################################
kafka.eagle.sql.topic.records.max=5000######################################
# delete kafka topic token
######################################
kafka.eagle.topic.token=keadmin######################################
# kafka sasl authenticate
#权限安全相关配置,这里是虚拟机安装的测试环境,所以没有进行配置
######################################
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
cluster1.kafka.eagle.sasl.client.id=
cluster1.kafka.eagle.blacklist.topics=
cluster1.kafka.eagle.sasl.cgroup.enable=false
cluster1.kafka.eagle.sasl.cgroup.topics=
cluster2.kafka.eagle.sasl.enable=false
cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster2.kafka.eagle.sasl.mechanism=PLAIN
cluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
cluster2.kafka.eagle.sasl.client.id=
cluster2.kafka.eagle.blacklist.topics=
cluster2.kafka.eagle.sasl.cgroup.enable=false
cluster2.kafka.eagle.sasl.cgroup.topics=######################################
# kafka ssl authenticate
######################################
cluster3.kafka.eagle.ssl.enable=false
cluster3.kafka.eagle.ssl.protocol=SSL
cluster3.kafka.eagle.ssl.truststore.location=
cluster3.kafka.eagle.ssl.truststore.password=
cluster3.kafka.eagle.ssl.keystore.location=
cluster3.kafka.eagle.ssl.keystore.password=
cluster3.kafka.eagle.ssl.key.password=
cluster3.kafka.eagle.blacklist.topics=
cluster3.kafka.eagle.ssl.cgroup.enable=false
cluster3.kafka.eagle.ssl.cgroup.topics=######################################
# kafka sqlite jdbc driver address
######################################
#kafka.eagle.driver=org.sqlite.JDBC
#kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
#kafka.eagle.username=root
#kafka.eagle.password=www.kafka-eagle.org######################################
# kafka mysql jdbc driver address
#启用MySQL数据库,在链接配置正确的情况下,程序运行后自动建库建表
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456
三、测试
1、启动
./bin/ke.sh start
见到如上图内容即可认为是成功了。
- 启动成功有显示 账号密码 Account:
admin
,Password:123456
在命令行输入jps可以看到KafkaEagle的进程,bin目录下会生成ke.pid(存有KafkaEagle的进程ID)的文件。
2、登录页面
总结
官方地址 :
源码: https://github.com/smartloli/kafka-eagle/
官网:https://www.kafka-eagle.org/
下载: http://download.kafka-eagle.org/
安装文档: https://docs.kafka-eagle.org/2.env-and-instal
centos7安装Kafka Eagle相关推荐
- 安装kafka eagle监控kafka集群
安装kafka eagle监控kafka集群 1.下载kafka eagle的压缩包并解压 wget https://github.com/smartloli/kafka-eagle-bin/arch ...
- 【Kafka】Mac 环境 Kafka诡异问题之kafka eagle 界面无法访问
文章目录 1.背景 2. 解决 本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载. 可以加我问问题,免费解答,有问题可以先私聊我,本人每天都在线,会帮助需要 ...
- Kafka Eagle服务部署
一.概述 Kafka Eagle监控系统是一款用来监控Kafka集群的工具,目前更新的版本是v1.4.3,支持管理多个Kafka集群.管理Kafka主题(包含查看.删除.创建等).消费者组合消费者实例 ...
- 基于jmx监控kafka_0542-6.1.0-非安全环境下Kafka管理工具Kafka Eagle安装使用
1.文档编写目的 Fayson在前面的文章介绍了<0374-如何在CDH集群中部署Kafka Manager>,本篇文章Fayson介绍另外一款的监控工具Kafka-eagle,它可以同时 ...
- 【kafka】Kafka 可视化工具Kafka Eagle安装和使用
一.背景 Kafka产线环境需要管理的Topic和Consumser越来越多,使用命令行工具进行管理会非常繁杂.因此,大数据平台上需要一套Kafka的管理监控系统,Kafka-Eagle. Kafka ...
- kafka eagle的介绍和详细安装教程
本文主要介绍Apache原版和CDH版Kafka下kafka eagle的安装配置 简介 kafka eagle(kafka鹰) 是一款由国内公司开源的Kafka集群监控系统,可以用来监视kafka集 ...
- Kafka Eagle 2.0.6 安装
Kafka Eagle 2.0.6 安装 目录 Kafka Eagle 2.0.6 安装 1.简单介绍 2.软件安装 2.1.上传解压移动删除 2.2.修改配置文件 2.3.配置Kafka的Jmx 2 ...
- Kafka Eagle的安装(kafka-eagle-bin-1.3.7)
目录 介绍: 一.安装准备 二.安装配置 三.验证 介绍: Kafka Eagle是一款由国内公司开源的Kafka集群监控系统,可以用来监视kafka集群的broker状态.Topic信息.IO.内存 ...
- kafka eagle安装与使用
1.概述 在开发工作当中,在使用 Kafka 集群进行消息的生产和消费时,数据的变动以及topic的管理是我们所关心的内容,这就要求一套行之有效的监控管理体系.常见的kafka监控软件有4种如下所示 ...
最新文章
- MATLAB实战系列(三十一)-基于MATLAB的异步电机调速系统仿真
- Nginx CONTENT阶段 static模块
- Keil C51软件的使用教程
- SQL查询环比增长 前后行数据对比操作
- Java虚拟机学习总结(3)——JDK内置工具(jps、jstack、jmap、jstat)使用详解
- 一些常用的JavaScript总结
- Spring boot CommandLineRunner接口使用例子
- vb 链接 oracle数据库,vb 连接oracle数据库
- 长字符串的算术编码matlab,算术编码及MATLAB实现
- matlab 对自定义函数求导,用matlab对多项式函数求导
- 14.拉格朗日插值公式
- JavaScript笔记 Object对象
- 运动目标检测方法综述
- win10的ie保存html文件夹,win10系统IE缓存文件夹在哪里,详细教您IE缓存文件在哪里...
- waf绕过—过360主机卫士sql注入
- Android音视频编码基础一
- 微信小程序一键置顶操作详解:
- 创建电子邮件链接 mailto
- Python+opencv 人脸识别
- 谈谈Spring Ioc的理解
热门文章
- 创造与魔法java语言_创造与魔法 | 最新魔法使用大全
- Windows压缩指定文件并删除原文件内容bat脚本
- 贪心--CF645E
- u深度重装系统详细教程_u深度u盘启动盘安装win7详细步骤
- 查找算法的实现c语言,查找算法的实现(C语言版)
- 在Linux中使用fsck命令检查和修复文件系统错误
- Hadoop常见错误及解决方案、Permission denied: user=dr.who, access=WRITE, inode=“/“:summer:supergroup:drwxr-xr-x
- 改进YOLOv5系列:10.最新HorNet结合YOLO应用首发! | 多种搭配,即插即用 | Backbone主干、递归门控卷积的高效高阶空间交互高效
- 智能机器人与智能系统(大连理工大学庄严教授)——3.工业机器人
- Whitelabel Error Page并且报500