3 监控工具Kafka-eagle介绍

3.1 Kafka-Eagle简介

3.2 安装Kafka-Eagle

3.2.1 开启Kafka JMX端口

3.2.2 安装Kafka-Eagle

3.3 Kafka度量指标

3.3.1 topic list

3.3.2 生产者消息总计

Kafka入门及进阶汇总

3 监控工具Kafka-eagle介绍

3.1 Kafka-Eagle简介

在开发工作中，当业务前提不复杂时，可以使用Kafka命令来进行一些集群的管理工作。但如果业务变得复杂，例如：我们需要增加group、topic分区，此时，我们再使用命令行就感觉很不方便，此时，如果使用一个可视化的工具帮助我们完成日常的管理工作，将会大大提高对于Kafka集群管理的效率，而且我们使用工具来监控消费者在Kafka中消费情况。

早期，要监控Kafka集群我们可以使用Kafka Monitor以及Kafka Manager，但随着我们对监控的功能要求、性能要求的提高，这些工具已经无法满足。

Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点，重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等。

官网地址：EFAKhttps://www.kafka-eagle.org/

3.2 安装Kafka-Eagle

3.2.1 开启Kafka JMX端口

3.2.1.1 JMX接口

JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架。JMX是一套标准的代理和服务，实际上，用户可以在任何Java应用程序中使用这些代理和服务实现管理。很多的一些软件都提供了JMX接口，来实现一些管理、监控功能。

3.2.1.2 开启Kafka JMX

在启动Kafka的脚本前，添加：

cd ${KAFKA_HOME}

export JMX_PORT=9988

nohup bin/kafka-server-start.sh config/server.properties &

3.2.2 安装Kafka-Eagle

1 安装JDK，并配置好JAVA_HOME。

2 将kafka_eagle上传，并解压到 /export/server 目录中。

cd cd /export/software/
tar -xvzf kafka-eagle-bin-1.4.6.tar.gz -C ../server/

cd /export/server/kafka-eagle-bin-1.4.6/

tar -xvzf kafka-eagle-web-1.4.6-bin.tar.gz

cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6

3 配置 kafka_eagle 环境变量。

vim /etc/profile

export KE_HOME=/export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6

export PATH=$PATH:$KE_HOME/bin

source /etc/profile

4 配置 kafka_eagle。使用vi打开conf目录下的system-config.properties

vim conf/system-config.properties

# 修改第4行，配置kafka集群别名

kafka.eagle.zk.cluster.alias=cluster1

# 修改第5行，配置ZK集群地址

cluster1.zk.list=node1.itcast.cn:2181,node2.itcast.cn:2181,node3.itcast.cn:2181

# 注释第6行

#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

# 修改第32行，打开图标统计

kafka.eagle.metrics.charts=true

kafka.eagle.metrics.retain=30

# 注释第69行，取消sqlite数据库连接配置

#kafka.eagle.driver=org.sqlite.JDBC

#kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db

#kafka.eagle.username=root

#kafka.eagle.password=www.kafka-eagle.org

# 修改第77行，开启mys

kafka.eagle.driver=com.mysql.jdbc.Driver

kafka.eagle.url=jdbc:mysql://node1.itcast.cn:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull

kafka.eagle.username=root

kafka.eagle.password=123456

5 配置JAVA_HOME

cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin
vim ke.sh

# 在第24行添加JAVA_HOME环境配置

export JAVA_HOME=/export/server/jdk1.8.0_241

6 修改Kafka eagle可执行权限

cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin

chmod +x ke.sh

7 启动 kafka_eagle。

./ke.sh start

8 访问Kafka eagle，默认用户为admin，密码为：123456

http://node1.itcast.cn:8048/ke

3.3 Kafka度量指标

3.3.1 topic list

点击Topic下的List菜单，就可以展示当前Kafka集群中的所有topic。

指标	意义
Brokers Spread	broker使用率
Brokers Skew	分区是否倾斜
Brokers Leader Skew	leader partition是否存在倾斜

3.3.2 生产者消息总计

监控工具Kafka-eagle介绍相关推荐

4.2.5 Kafka集群与运维（集群的搭建、监控工具 Kafka Eagle）
Kafka集群与运维文章目录 Kafka集群与运维 1.集群的搭建 1.1 搭建zookeeper集群 1.1.1 上传JDK到linux,安装并配置JDK 1.1.2. Linux 安装Zooke ...
4.2.9 Kafka集群与运维, 应用场景, 集群搭建, 集群监控JMX(度量指标, JConsole, 编程获取, Kafka Eagle)
目录 3.1 集群应用场景 1 消息传递 2 网站活动路由 3 监控指标 4 日志汇总 5 流处理 6 活动采集 7 提交日志总结 3.2 集群搭建 3.2.1 Zookeeper集群搭建 3.2. ...
kafka eagle的介绍和详细安装教程
本文主要介绍Apache原版和CDH版Kafka下kafka eagle的安装配置简介 kafka eagle(kafka鹰) 是一款由国内公司开源的Kafka集群监控系统,可以用来监视kafka集 ...
Kafka Eagle 源码解读
1.概述在<Kafka 消息监控 - Kafka Eagle>一文中,简单的介绍了 Kafka Eagle这款监控工具的作用,截图预览,以及使用详情.今天笔者通过其源码来解读实现细节.目 ...
基于jmx监控kafka_0542-6.1.0-非安全环境下Kafka管理工具Kafka Eagle安装使用
1.文档编写目的 Fayson在前面的文章介绍了<0374-如何在CDH集群中部署Kafka Manager>,本篇文章Fayson介绍另外一款的监控工具Kafka-eagle,它可以同时 ...
centos7安装Kafka Eagle
文章目录前言一.kafka-eagle功能介绍二.环境和安装 1.安装JDK1.8 2.启动zk和kafka的服务 3.wget下载安装包 4.解压 5.设置环境变量 6.创建数据库 7.修改配 ...
Kafka Eagle 2.0.6 安装
Kafka Eagle 2.0.6 安装目录 Kafka Eagle 2.0.6 安装 1.简单介绍 2.软件安装 2.1.上传解压移动删除 2.2.修改配置文件 2.3.配置Kafka的Jmx 2 ...
Kafka Eagle服务部署
一.概述 Kafka Eagle监控系统是一款用来监控Kafka集群的工具,目前更新的版本是v1.4.3,支持管理多个Kafka集群.管理Kafka主题(包含查看.删除.创建等).消费者组合消费者实例 ...
Kafka Eagle的安装（kafka-eagle-bin-1.3.7）
目录介绍: 一.安装准备二.安装配置三.验证介绍: Kafka Eagle是一款由国内公司开源的Kafka集群监控系统,可以用来监视kafka集群的broker状态.Topic信息.IO.内存 ...
Kafka 消息监控 - Kafka Eagle
1.概述在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper 客户端工具,可以很方便 ...

监控工具Kafka-eagle介绍

3 监控工具Kafka-eagle介绍

3.1 Kafka-Eagle简介

3.2 安装Kafka-Eagle

3.2.1 开启Kafka JMX端口

3.2.2 安装Kafka-Eagle

3.3 Kafka度量指标

3.3.1 topic list

3.3.2 生产者消息总计

监控工具Kafka-eagle介绍相关推荐

最新文章

热门文章