一、简介

为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager(已改名为 cmak)。

这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。

它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能:

1.管理多个kafka集群
2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)
3.选择你要运行的副本
4.基于当前分区状况进行
5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)
6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)
7.Topic list会指明哪些topic被删除(在0.8.2以上版本适用)
8.为已存在的topic增加分区
9.为已存在的topic更新配置
10.在多个topic上批量重分区
11.在多个topic上批量重分区(可选partition broker位置)

kafka-manager 项目地址:https://github.com/yahoo/kafka-manager

二、环境

        注意:cmak环境要求JDK版本为11

1、jdk
java version "11.0.15.1"2、kafka集群信息
服务器:
192.168.10.6:9092
192.168.10.7:9093
192.168.10.8:9094
软件:
kafka_2.11-2.1.1
zookeeper-3.4.14

三、下载安装

1. 项目下载地址:https://github.com/yahoo/CMAK/releases

2. 下载zip,并上传至linux,解压

3. 进入目录,3.0.0.5已无需编译

4. 配置文件(conf/application.conf

修改 application.conf
将 kafka-manager.zkhosts="kafka-manager-zookeeper:2181" 中的 zookeeper 地址换成自己安装的,原配置的 kafka-manager.zkhosts ,cmak.zkhosts注释,参考下面:

#play.i18n.langs=["en"]
play.i18n.langs=["ch"]play.http.requestHandler = "play.http.DefaultHttpRequestHandler"
play.http.context = "/"
play.application.loader=loader.KafkaManagerLoader# Settings prefixed with 'kafka-manager.' will be deprecated, use 'cmak.' instead.
# https://github.com/yahoo/CMAK/issues/713
#kafka-manager.zkhosts="kafka-manager-zookeeper:2181"
#kafka-manager.zkhosts=${?ZK_HOSTS}
kafka-manager.zkhosts="192.168.10.9:2181"
#cmak.zkhosts="kafka-manager-zookeeper:2181"
#cmak.zkhosts=${?ZK_HOSTS}
cmak.zkhosts="192.168.10.9:2181"

5. 开通端口

(1)各个宿主机(zookeeper 开通端口/或防火墙,保证cmak 服务器可访问对应端口)
(2)cmak 服务器开通页面访问端口(默认9000,若有使用冲突,可启动配置其他端口)

6. 启动

确保自己本地的ZK已经启动了之后,我们来启动Kafka-manager。

kafka-manager 默认的端口是9000。

可通过 -Dhttp.port,指定端口; -Dconfig.file=conf/application.conf指定配置文件:

临时启动:
bin/kafka-manager -Dhttp.port=10001

后台启动(最好使用脚本,存储pid):
nohup bin/kafka-manager -Dhttp.port=10001 &

使用ip地址:端口访问测试

启动成功!

四、测试CMAK

点击【Cluster】>【Add Cluster】打开如下添加集群的配置界面:

输入集群的名字(如Kafka-Cluster-1)和 Zookeeper 服务器地址(如localhost:2181),选择最接近的Kafka版本(如2.2.0)

注意:如果没有在 Kafka 中配置过 JMX_PORT,千万不要选择第一个复选框。
Enable JMX Polling
如果选择了该复选框,Kafka-manager 可能会无法启动。

基本写这几个就行了

其他broker的配置可以根据自己需要进行配置,默认情况下,点击【保存】时,会提示几个默认值为1的配置错误,需要配置为>=2的值。默认配置如下

新建完成后,运行界面如下

主题列表

broker

问题

配置保存失败:kafka manager添加集群出现错误KeeperErrorCode

Yikes! KeeperErrorCode = Unimplemented for /kafka-manager/mutex Try again.

解决办法

登录到zookeeper客户端,手动创建/ kafka-manager/ mutex / locks和/ kafka-manager / mutex / leases节点

//登录到zookeeper客户端
[root@kf-cache-61 ~]# /usr/local/kafka/zookeeper-3.4.14/bin/zkCli.sh//手动创建/ kafka-manager / mutex / locks和/ kafka-manager / mutex / leases节点
[zk: localhost:2181(CONNECTED) 0] ls /kafka-manager
[configs, deleteClusters, clusters]
[zk: localhost:2181(CONNECTED) 1] create /kafka-manager/mutex ""
Created /kafka-manager/mutex
[zk: localhost:2181(CONNECTED) 2] create /kafka-manager/mutex/locks ""
Created /kafka-manager/mutex/locks
[zk: localhost:2181(CONNECTED) 3] create /kafka-manager/mutex/leases ""
Created /kafka-manager/mutex/leases
[zk: localhost:2181(CONNECTED) 4]

参考文档:Kafka可视化管理工具kafka-manager部署安装和使用-已更名为CMAK_沮丧的南瓜的博客-CSDN博客_kafka manager
kafka manager添加集群出现错误KeeperErrorCode_胖琦的博客-CSDN博客

五、使用

1、新建主题

其他参数配置,不再讲解

主题列表

点击【topic】下面的主题名称,即可查看主题

Kafka可视化管理工具-CMAK(kafka-manager)相关推荐

  1. 【Centos】EFAK(kafka-eagle)对ZK、Kafka可视化管理工具容器化安装与配置

    [Centos]EFAK(kafka-eagle)对ZK.Kafka可视化管理工具容器化安装与配置 前言 构建 Dockerfile system-config.properties works re ...

  2. kafka可视化客户端工具(Kafka Tool)的使用

    本文来说下kafka可视化客户端工具(Kafka Tool)的使用 文章目录 概述 下载地址 如何使用 本文小结 概述 Kafka Tool是一个用于管理和使用Apache Kafka集群的GUI应用 ...

  3. Kafka可视化管理工具kafka-manager部署安装和使用-已更名为CMAK

    一.kafka-manager 简介 为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager. 这个管理工具可以 ...

  4. EFAK - Kafka可视化管理工具

    前言 什么是EFAK EFAK(Eagle For Apache Kafka,以前称为 Kafka Eagle)EFAK是开源可视化和管理软件.可以查询.可视化.监控kafka集群,是将 kafka ...

  5. kafka可视化客户端工具(Kafka Tool)的基本使用

    1.下载 下载地址:http://www.kafkatool.com/download.html 2.安装 根据不同的系统下载对应的版本,我这里kafka版本是1.1.0,下载kafka tool 2 ...

  6. Kafka 可视化客户端工具(Kafka Tool)的基本使用

    https://www.cnblogs.com/frankdeng/p/9452982.html https://blog.csdn.net/ytangdigl/article/details/797 ...

  7. 两款非常好的Redis 可视化管理工具:Another Redis Desktop Manager、QuickRedis

    今天来推荐一款我平常一直在使用的  Redis 可视化管理工具,真的非常不错,好用!我会通过和另外一款类似的工具 QuickRedis 作对比的方式来介绍. QuickRedis 是一位好朋友给我推荐 ...

  8. 我最爱用的一款 Redis 可视化管理工具——Another Redis Desktop Manager

    今天来推荐一款我平常一直在使用的 Redis 可视化管理工具,真的非常不错,好用!我会通过和另外一款类似的工具 QuickRedis 作对比的方式来介绍. QuickRedis 是一位好朋友给我推荐的 ...

  9. Redis Desktop Manager – Redis可视化管理工具、redis图形化管理工具、redis可视化客户端、redis集群管理

    Redis Desktop Manager – 个人认为是目前最好用的Redis可视化管理工具. redis可视化工具.Redis可视化管理工具.redis图形化管理工具.redis可视化客户端.re ...

最新文章

  1. 【Qt】编译QtCreator
  2. 十一Python之路,Day6 - 面向对象学习
  3. Xamarin 2017.9.19更新
  4. linux ftrace原理
  5. Android开发应该了解的Binder原理,专题解析
  6. 左转待转区----当同向直行信号灯绿灯亮时,左转弯的车辆进入左转待转区等候放行信号(即使此时左转弯灯是红色的) 注意:当直行红灯时候禁止进入...
  7. compareHist函数 例子
  8. Linux 文件系统在线扩容实战
  9. Eclipse,以及tomcat使用时可能会遇到的几个问题
  10. confluence正常安装网页报错_NAS折腾手记1:在OMV5上安装ZFS On Linux的正确步骤
  11. 恐龙的丁丁长什么样?它们是怎么啪啪啪的?这项研究网友看完直呼涨姿势.........
  12. Eclipse C/C++开发环境搭建
  13. linux查cpu命令4可以选择哪些运动,Linux 查看cpu 信息的命令及简单实例
  14. Java char jdk_java学习系列之二---字符串(char.String.StringBuilder以及StringBuffer)
  15. 纯真IP库PHP查询
  16. Google全球服务器根域名的IP地址
  17. 【更新】PDF控件Spire.PDF 3.9.538发布 | 附下载
  18. 西安电脑服务器维修电脑,西安苹果电脑维修
  19. javplayer 使用教程_童装裁剪之连衣裙打版教程 有图纸
  20. oracle 提取重复数据,oracle里面查询重复数据的方法

热门文章

  1. 【计算机网络技术】根据IP地址子网掩码计算网络地址、直接广播地址、主机号以及可用IP地址的范围
  2. 智慧电力解决方案-最新全套文件
  3. Numpy_协方差与相关系数
  4. 计算机应用基础考试卷子2096,基于ATA考试的计算机应用基础课程的教学解析
  5. (转)QR分解求矩阵的全部特征值
  6. 开源聊天机器人程序QRobot(QuickRobot)
  7. “数学界的诺贝尔”公布2019年得主,首位女数学家获奖...
  8. 2020莱斯大学计算机全球排名,2019-2020莱斯大学世界排名多少【QS最新第85名】
  9. 【翻译】In the light of feature distributions: moment matching for Neural Style Transfer
  10. 游戏音乐制作的硬件环境