centos7 安装kafka Manager
1.安装sbt编译环境

curl https://bintray.com/sbt/rpm/rpm |tee /etc/yum.repos.d/bintray-sbt-rpm.repo

yum install sbt

2.下载kafka-manager

https://github.com/yahoo/kafka-manager/releases

3.编译，重点是服务器能访问外网环境，下载依赖的包和软件会比较久，编译也比较漫长(我是花了半天时间)

cd kafka-manager

sbt clean dist

编译完以后，生成的包会在kafka-manager/target/universal 下面。生成的包只需要java环境就可以运行了，在部署的机器上不需要安装sbt。

ls -la

kafka-manager-1.3.3.4.zip
tmp

4.kafka Manager部署

(1).复制编译好的压缩包,在需要部署的kafka机器上解压即可

unzip kafka-manager-1.3.3.4.zip

(2).修改conf/application.conf，把kafka-manager.zkhosts改为自己的zookeeper服务器地址

kafka-manager.zkhosts=”192.168.1.237:2181”

(3)、启动

nohup /opt/kafka-manager-1.3.3.4/bin/kafka-manager -Dconfig.file=/opt/kafka-manager-1.3.3.4/conf/application.conf &

说明：正常来说，play框架应该会自动加载conf/application.conf配置里的内容，但是貌似这个不起作用，要显式指定才行。

默认http端口是9000，可以修改配置文件里的http.port的值，或者通过命令行参数传递：

./kafka-manager -Dhttp.port=9001

(4).kafka 默认是不开启JMX监控的，但是kafka-manager支持JMX监控，如果不添加，无法监控，所以我们需要配置kafka的JMX端口，并重启kafka

修改bin/kafka-server-start.sh，添加JMX_PORT参数，添加后样子如下:

if [ “x$KAFKA_HEAP_OPTS” = “x” ]; then
export KAFKA_HEAP_OPTS=”-Xmx1G -Xms1G”
export JMX_PORT=”9999”
fi

(5)访问 kafka-manager 的url地址 192.168.1.121:90000 添加集群，如下：

其他环境：
监控-Kafka Manager
yahoo为了简化开发者和服务工程师维护Kafka集群的工作，构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。
通过Kafka Manager用户能够更容易地发现集群中哪些主题或者分区分布不均匀，同时能够管理多个集群，能够更容易地检查集群的状态，能够创建主题，执行首选的副本选择，能够基于集群当前的状态生成分区分配，并基于生成的分配执行分区的重分配，此外，Kafka Manager还是一个非常好的可以快速查看集群状态的工具。
该软件是用Scala语言编写的。yahoo已经开源了Kafka Manager工具。这款Kafka集群管理工具主要支持以下几个功能：
　　1、管理几个不同的集群；
　　2、很容易地检查集群的状态(topics, brokers, 副本的分布, 分区的分布)；
　　3、选择副本；
　　4、产生分区分配(Generate partition assignments)基于集群的当前状态；
　　5、重新分配分区。
6、支持kafka 0.8.2之上的版本删除Topic。
7、标记删除的分区的主题（0.8.2+）
8、批量产生分区分配为多个Topic
9、批量执行重新分配分区为个Topic
10、为已存在的Tpic增加分区。
11、选择是否启用JMX轮询代理和Topic的度量
编译安装kafka Manager的过程
安装sbt
sbt是scala的打包构建工具。编译kafka Manager之前需要安装sbt，下载地址：http://www.scala-sbt.org/download.html
我本地用的是windows版，执行安装文件就可以。
下载kafka Manager编译
kafka Manager是从github下载下来的，windows下先安装个git环境，git的环境安装这里就不介绍了。
在git的bash下，执行以下命令：
git clone https://github.com/yahoo/kafka-manager
kafka Manager将会拷贝到本地目录内。
在windows的命令行下，进入kafka-manager的主目录：
cd kafka-manager
执行以下命令：
sbt clean dist
sbt在编译的时候会通过ivy下载很多依赖包，网络不好的情况下往往会很长时间，而且很有可能下载不成功。我本地就一直没有下载成功过，通过在国外vps上执行sbt，将依赖包下载到vps上，然后再打包ftp下载到本地，覆盖本地的ivy cache，通过这种方式实现kafka manager的完成编译。
运行kafka Manager
Kafka Manager编译打包后的，生成的打包文件在target\universal目录下，目录下有个zip文件，这个文件就是kafka Manager编译打包后的可运行包。将zip文件拷贝到linux下。执行uzip，进行解压缩。进入kafka Manager目录，修改conf目录下的application.conf，修改值kafka-manager.zkhosts=”kafka-manager-zookeeper:2181”为真是的zookeeper的地址。保存
进入bin目录下执行命令：
../kafka-manager -Dconfig.file=../conf/application.conf
如果命令不能执行，请先给文件授权：
.chmod 777 kafka-manager
打开浏览器输入http://x.x.x.x:9000，即可进入kafka manager的管理页面。

填写集群名字，zk的地址和端口，选择kafka的版本，我测试用的版本是0.8.2.1。然后保存。

这里可以看到集群的Topic数量和Brokers的数据。点击数据可以看详细信息。

监控-Kafka Manager相关推荐

Kafka 消息监控 - Kafka Eagle
1.概述在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper 客户端工具,可以很方便 ...
如何使用JMX监控Kafka
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...
Kafka Manager 云平台用户使用手册 didi / Logi-KafkaManager
Kafka Manager 云平台用户使用手册文档概述本文档提供了滴滴出行-Kafka Manager云平台产品的入门操作指导和详细配置指导,希望通过本说明书为平台的使用者提供支持. 默认登陆密码 ...
10 Confluent_Kafka权威指南第十章：监控kafka
文章目录 CHAPTER 10 Monitoring Kafka 监控kafka Metric Basics 度量基础 Where Are the Metrics? 度量标准在哪? Internal ...
使用JMX监控Kafka
http://blog.csdn.net/eric_sunah/article/details/44980385?utm_source=tuicool 使用JMX监控Kafka 标签: KafkaJM ...
Kafka manager安装 (支持0.10以后版本consumer)
下载地址: https://pan.baidu.com/s/1jIE3YL4 步骤: 1. 解压kafka-manager-1.3.2.1.zip 2. cd kafka-manager-1.3.2 ...
Apache Kafka-CMAK（kafka manager）安装部署使用
文章目录 Github地址二进制安装包下载 3.0.0.2 及之后 3.0.0.2 之前 Require 安装启动配置 Github地址 https://github.com/yahoo/CMA ...
kafka查看topic中的数据_实战！Kafka Manager能统计出Topic中的记录条数吗？
问题描述今天现场实施同事说Kafka Manager上显示有3500w条记录,但使用我们的平台落地后,一统计发现只有2200w条记录,这是不是说明我们的平台存在丢数据的可能. 经了解,对接方是通过如 ...
gc日志怎么看_你应该怎么监控Kafka？
监控 Kafka,历来都是个老大难的问题.无论是在我维护的微信公众号,还是 Kafka QQ群里面,大家问得最多的问题,一定是 Kafka 的监控.大家提问的内容看似五花八门,但真正想了解的,其实都是 ...
kafka 启动_Kafka管理工具Kafka Manager
Kafka作为分布式消息系统以其轻量级.可扩展.高通吐等特点而得到广泛应用,最近在项目中用Kafka作为中间件进行数据交互.为了监控Kafka的运行情况,在网上找了个开源的Kafka监控工具Kafka ...

监控-Kafka Manager

ls -la

监控-Kafka Manager相关推荐

最新文章

热门文章