kafka集群管理工具kafka-manager

一、kafka-manager简介

kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容：

管理多个集群
轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发）
运行首选副本选举
使用选项生成分区分配以选择要使用的代理
运行分区重新分配（基于生成的分配）
使用可选主题配置创建主题（0.8.1.1具有与0.8.2+不同的配置）
删除主题（仅支持0.8.2+并记住在代理配置中设置delete.topic.enable = true）
主题列表现在指示标记为删除的主题（仅支持0.8.2+）
批量生成多个主题的分区分配，并可选择要使用的代理
批量运行重新分配多个主题的分区
将分区添加到现有主题
更新现有主题的配置

kafka-manager 项目地址：https://github.com/yahoo/kafka-manager

二、kafka-manager部署

1.下载安装包

使用Git或者直接从Releases中下载，此处从下面的地址下载3.0.0.4 版本：https://github.com/yahoo/kafka-manager/releases

注意上面地址下载下来的是源码包，需要进行编译，如果不想编译，可以直接下载编译好的kafka-manager-1.3.3.7.zip

下载地址：https://pan.baidu.com/s/12j2DEt94WsWRY6dD9aR6BQ

提取密码：8x57

[root@kafka01 ~]# unzip -o kafka-manager-1.3.3.7.zip
[root@kafka01 ~]# mv kafka-manager-1.3.3.7 /data/kafka-manager
[root@kafka01 ~]# cd /data/kafka-manager
[root@kafka01 kafka-manager]# vim conf/application.conf
·······
#kafka-manager.zkhosts="localhost:2181"        #注释这一行，添加下面一行
kafka-manager.zkhosts="192.168.10.150:2181,192.168.10.151:2181,192.168.10.152:2181"


启动kafka-manager
[root@kafka01 kafka-manager]# nohup bin/kafka-manager >/dev/null 2>&1 &需要注意：
kafka-manager默认的端口是9000，可通过-Dhttp.port在指定端口；-Dconfig.file=conf/application.conf指定配置文件；
[root@kafka01 kafka-manager]# nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9001 &[root@kafka01 kafka-manager]# lsof -i:9000
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    54414 root  109u  IPv4 150470      0t0  TCP *:cslistener (LISTEN)

通过浏览器访问http://192.168.10.150:9000

kafka-mamager测试
新建 Cluster1
点击【Cluster】>【Add Cluster】打开如下添加集群的配置界面：
输入集群的名字（如Kafka-Cluster-test）和 Zookeeper 服务器地址（如localhost:2181），选择最接近的Kafka版本（如0.10.1.1）
-------------------------------------------------------------------
注意：如果没有在 Kafka 中配置过 JMX_PORT，千万不要选择第一个复选框。
Enable JMX Polling
如果选择了该复选框，Kafka-manager 可能会无法启动。
-------------------------------------------------------------------

其他broker的配置可以根据自己需要进行配置，默认情况下，点击【保存】时，会提示几个默认值为1的配置错误，需要配置为>=2的值。提示如下。

新建完成后，运行界面如下：

查看TOPIC 信息

查看broker信息

管理 kafka-mamager
新建主题
点击【Topic】>【Create】可以方便的创建并配置主题。如下显示。

由于集群只有三个节点，故replication factor最多只能设置为3

================================================
针对上面Topic->Create新建主题的配置，下面根据一张图讲解

在上图一个Kafka集群中，有两个服务器，每个服务器上都有2个分区。P0,P3可能属于同一个主题，也可能是两个不同的主题。
如果设置的Partitons和Replication Factor都是2，这种情况下该主题的分步就和上图中Kafka集群显示的相同，此时P0,P3是同一个主题的两个分区。P1,P2也是同一个主题的两个分区，Server1和Server2其中一个会作为Leader进行读写操作，另一个通过复制进行同步。
如果设置的Partitons和Replication Factor都是1，这时只会根据算法在某个Server上创建一个分区，可以是P0~4中的某一个（分区都是新建的，不是先存在4个然后从中取1个）。

================================================================================================\

遇到的问题：

kafka-manager日志也可以看到：Ask timed out on [ActorSelection[Anchor(akka://kafka-manager-system/), Path(/user/kafka-manager/kafka-cluster-test/kafka-state)]] after [2000 ms]

参考了：https://github.com/yahoo/CMAK/issues/401

https://blog.csdn.net/weixin_43361692/article/details/103299151 （这个哥们说重启zookeeper）

1.重启kafka-manager没解决

2.重启zookeeper，问题依旧

kafka集群管理工具kafka-manager相关推荐

Redis Desktop Manager – Redis可视化管理工具、redis图形化管理工具、redis可视化客户端、redis集群管理工具
Redis Desktop Manager – 个人认为是目前最好用的Redis可视化管理工具. redis可视化工具.Redis可视化管理工具.redis图形化管理工具.redis可视化客户端.re ...
集群管理工具KafkaAdminClient——改造
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...
docker集群管理工具_太多选择：如何选择正确的工具来管理Docker集群
docker集群管理工具 There are all kinds of ways to play the Docker game and, obviously, no one of them is g ...
Docker swarm集群管理工具
1. 简介 Docker Swarm 是Docker的集群管理工具,简单方便.易于上手. Swarm集群由以下两个组件构成: Mananger:负责整个集群的管理工作包括集群配置.服务管理等所有跟集群 ...
大数据领域两大最主流集群管理工具Ambari和Cloudera Manger
大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH). 手工部署呢,需配置太多参数,但是,好理解其原理,建议 ...
redis-manger集群管理工具
redis-manger集群管理工具源起安装优点源起缺少一个redis集群管理工具安装链接: github地址优点安装简单,功能够用
第二篇supervisor集群管理工具cesi安装详解-如何安装supervisor-cesiwebUI
第二篇supervisor集群管理工具cesi安装详解-如何安装supervisor-cesiwebUI 介绍安装解压安装依赖修改配置注册为系统服务启动登录一下,发现报错了解决方法介 ...
第一篇supervisor集群管理工具cesi安装详解-如何安装supervisor
第一篇supervisor集群管理工具cesi安装详解-如何安装supervisor 环境准备安装python3.7.4 问题解决方法安装supervisor 配置supervisor服务启 ...
Redis 集群搭建及集群管理工具
目录一.简介二.架构图三.搭建集群 3.1.下载 3.2.编译安装 3.3.配置文件修改 3.4.创建集群四.集群管理工具redis-cli 4.1.查看集群信息 4.2.检查集群 4.3.修 ...

kafka集群管理工具kafka-manager

kafka集群管理工具kafka-manager相关推荐

最新文章

热门文章