Kafka的监控以及运维与Kafka-eagle的安装
KAFKA-EAGLE
- 监控以及运维
- Kafka-Eagle概述
- 数据面板
- 主题
- 消费者组
- 集群管理
- 指标监控
- 告警
- 系统管理
- 数据大屏
- Kafka Eagle如何安装?
- 环境要求
- 安装步骤
- 配置环境变量
- 配置文件
- 命令
监控以及运维
在开发工作中,消费在Kafka集群中消息,数据变化是我们关注的问题,当业务前提不复杂时,我们可以使用Kafka 命令提供带有Zookeeper客户端工具的工具,可以轻松完成我们的工作。随着业务的复杂性,增加Group和 Topic,那么我们使用Kafka提供命令工具,已经感到无能为力,那么Kafka监控系统目前尤为重要,我们需要观察 消费者应用的细节。
Kafka-Eagle概述
为了简化开发者和服务工程师维护Kafka集群的工作有一个监控管理工具,叫做 Kafka-eagle。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,
- 官网地址:http://www.kafka-eagle.org/
- 开源地址:https://github.com/smartloli/kafka-eagle
Kafka Eagle所包含的功能有数据面板、数据大屏、主题列表、消费者组、集群详情、监控中心、告警策略、系统管理等功能
数据面板
主题
该模块包含主题创建、主题管理、主题预览、KSQL查询主题、主题数据写入、主题属性配置等。
消费者组
该模块包含监控不同消费者组中的Topic被消费的详情,例如LogSize、Offsets、以及Lag等。同时,支持查看Lag的历史趋势图。
集群管理
该模块包含Kafka集群和Zookeeper集群的详情展示,例如Kafka的IP和端口、版本号、启动时间、Zookeeper的Leader和Follower。同时,还支持多Kafka集群切换,以及Zookeeper Client数据查看等功能。
指标监控
该模块包含监控Kafka集群和Zookeeper集群的核心指标,包含Kafka的消息发送趋势、消息大小接收与发送趋势、Zookeeper的连接数趋势等。同时,还支持查看Broker的瞬时指标数据。
告警
该模块包含告警集群异常和消费者应用Lag异常。同时,支持多种IM告警方式,例如邮件、钉钉、微信、Webhook等
系统管理
该模块包含用户管理,例如创建用户、用户授权、资源管理等
数据大屏
该模块包含展示消费者和生产者当日及最近7天趋势、Kafka集群读写速度、Kafka集群历史总记录等
Kafka Eagle如何安装?
环境要求
需要安装jdk,启动zk以及kafka的服务
安装步骤
- 下载安装包:https://pan.baidu.com/s/1hXO-ZHt6h-ClKSQUVSp2cQ
提取码: e254 - 解压
这里我们选择将kafak-eagle安装在第一台
直接将kafka-eagle安装包上传到node01服务器的/export/softwares路径下,然后进行解压
node01服务器执行一下命令进行解压
cd /export/softwares/
tar -zxf kafka-eagle-bin-1.3.2.tar.gz -C /export/servers/
cd /export/servers/kafka-eagle-bin-1.3.2
tar -zxf kafka-eagle-web-1.3.2-bin.tar.gz
配置环境变量
# 配置JAVA_HOME和KE_HOME:
vi ~/.bash_profile
export JAVA_HOME=/hadoop/jdk8
export KE_HOME=/hadoop/kafka-eagle
export PATH=$PATH:$JAVA_HOME/bin:$KE_HOME/bin
配置文件
######################################
# 设置Kafka多集群,这里只需要设置Zookeeper,
# 系统会自动识别Kafka Broker
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=node01:2181
cluster2.zk.list=node01:2181/plain
cluster3.zk.list=node01:2181/scram
cluster4.zk.list=node01:2181######################################
# Zookeeper线程池最大连接数
######################################
kafka.zk.limit.size=25######################################
# Kafka Eagle的页面访问端口
######################################
kafka.eagle.webui.port=8048######################################
# 存储消费信息的类型,一般在0.9版本之前,消费
# 信息会默认存储在Zookeeper中,所以存储类型
# 设置zookeeper即可,如果是在0.10版本之后,
# 消费者信息默认存储在Kafka中,所以存储类型
# 设置为kafka。而且,在使用消费者API时,尽量
# 客户端Kafka API版本和Kafka服务端的版本保持
# 一致性。
######################################
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=kafka
#cluster3.kafka.eagle.offset.storage=kafka
cluster4.kafka.eagle.offset.storage=kafka######################################
# 开启性能监控,数据默认保留30天
######################################
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=30######################################
# KSQL查询Topic数据默认是最新的5000条,如果
# 在使用KSQL查询的过程中出现异常,可以将下面
# 的false属性修改为true,Kafka Eagle会在
# 系统中自动修复错误。
######################################
kafka.eagle.sql.topic.records.max=5000
kafka.eagle.sql.fix.error=false######################################
# 删除Kafka Topic时需要输入删除密钥,由
# 管理员执行
######################################
kafka.eagle.topic.token=keadmin######################################
# 开启Kafka ACL特性,例如SCRAM或者PLAIN,
# 一般生产环境会使用SCRAM来做ACL,应为SCRAM
# 可以动态创建和管理用户。
######################################
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="admin" password="admin-secret";
cluster1.kafka.eagle.sasl.client.id=cluster2.kafka.eagle.sasl.enable=true
cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster2.kafka.eagle.sasl.mechanism=PLAIN
cluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-secret";
cluster2.kafka.eagle.sasl.client.id=######################################
# 存储Kafka Eagle元数据信息的数据库,目前支持
# MySQL和Sqlite,默认使用Sqlite进行存储
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456#kafka.eagle.driver=org.sqlite.JDBC
#kafka.eagle.url=jdbc:sqlite:/Users/dengjie/webserver/hadoop/sqlite/ke.db
#kafka.eagle.username=root
#kafka.eagle.password=root
命令
# 启动Kafka Eagle系统,执行如下命令:
ke.sh start# 查看Kafka Eagle运行状态
ke.sh status# 停止Kafka Eagle
ke.sh stop# 查看Kafka Eagle GC情况
ke.sh gc# 查看Kafka Eagle服务器资源占用情况,例如TCP、句柄等
ke.sh stats# 查看Kafka Eagle版本号
ke.sh version# 查看Kafka Eagle服务器上JDK的编码情况(如果JDK编码不是UTF-8,可能会有异常出现,执行如下命令,根据提示来修复JDK编码问题)
ke.sh jdk# 查看Kafka Eagle中是否存在某个类(如果需要精确,类名前面可以加上包名)
ke.sh find [ClassName]
Kafka的监控以及运维与Kafka-eagle的安装相关推荐
- 滴滴Logi-KafkaManager开源之路:一站式Kafka集群指标监控与运维管控平台
导读 从2019年4月份计划开源到2021月1月14号完成开源,历时22个月终于修成正果,一路走来实属不易,没有前端.设计.产品,我们找实习生.合作方.外部资源支持,滴滴Kafka服务团队人员也几经调 ...
- 10 Kafka集群与运维
Kafka集群与运维 10.1 集群应用场景 10.1.1 消息传递 Kafka可以很好地替代传统邮件代理.消息代理的使用有多种原因(将处理与数据生产者分离,缓冲未处理的消息等).与大多数邮件系统相比 ...
- 4.2.5 Kafka集群与运维(集群的搭建、监控工具 Kafka Eagle)
Kafka集群与运维 文章目录 Kafka集群与运维 1.集群的搭建 1.1 搭建zookeeper集群 1.1.1 上传JDK到linux,安装并配置JDK 1.1.2. Linux 安装Zooke ...
- 【Spring Cloud】Redis缓存接入监控、运维平台CacheCloud
CacheCloud CacheCloud提供一个Redis云管理平台:实现多种类型(Redis Standalone.Redis Sentinel.Redis Cluster)自动部署.解决Redi ...
- MaxCompute作业日常监控与运维实践
简介: MaxCompute作业日常监控与运维实践 监控项目作业超时运行 案例一 专用于业务团队取数的project_A ,基本都是手动跑SQL查询,每个作业执行基本不会很长时间,由于目前使用的是包年 ...
- 一站式轻监控轻运维系统nezha(上篇)
本文软件由网友 114514 推荐: 什么是哪吒监控 ? 哪吒监控 是自托管.轻量级服务器和网站监控运维工具,属于一站式轻监控轻运维系统,分主控端和被控端,主控端提供访问的面板,被控端就是需要监控的服 ...
- Redis缓存接入监控、运维平台CacheCloud
CacheCloud CacheCloud提供一个Redis云管理平台:实现多种类型(Redis Standalone.Redis Sentinel.Redis Cluster)自动部署.解决Redi ...
- Greenplum 实时数据仓库实践(9)——Greenplum监控与运维
目录 9.1 权限与角色管理 9.1.1 Greenplum中的角色与权限 9.1.2 管理角色及其成员 9.1.3 管理对象权限 9.1.4 口令加密 9.2 数据导入导出 9.2.1 file协议 ...
- 如何让公安监控系统运维变简单?
想要实现社会面视频监控全覆盖,"天网监控系统"在其中扮演着举足轻重的角色,作为公安机关打击街面犯罪的一项法宝,"天网"是利用设置在大街小巷的大量摄像头组成的监控 ...
最新文章
- jQuery与其它库冲突的解决方法(转)
- 怎么使用oracle的加权平均数_GPA不足,怎么短期有效提升?快来收获100%录取的秘诀!...
- 分布式一致性hash算法
- 爱说说技术原理:前后台参数约定及逻辑代码(三)
- python创建角色_如何使用 Python 创建一名可操控的角色玩家
- shell如何自动输入密码
- 偏微分方程数值解法pdf_数值模拟偏微分方程的三种方法:FDM、FEM及FVM
- python 传输视频_如何用python实现网络实时视频传输
- 戴尔服务器系统备份还原工具,DELL备份恢复系统的小工具 Dell DataSafe Local Backup[网络技术]...
- 整蛊系列——使小伙伴的电脑自动关机
- 26_摘录的一些精彩语句2
- 轻松几步获得上万点击率(三)
- 好玩免费的api接口
- 编解码学习笔记(七) 微软Windows Media系列
- Unity3d开发之二十:闪电
- 【小程序】地图的基本使用
- 基于Dragonboard410c的智能音箱(四)
- 【正点原子Linux连载】第一章 应用编程概念-摘自【正点原子】I.MX6U嵌入式Linux C应用编程指南V1.1
- js鼠标跟随特效鼠标滑过出现小星星动画
- MathWorks MATLAB R2020a中文版