kafka 监控（eagle）

topic：创建时topic名称

partition：分区编号

offset：表示该parition已经消费了多少条message

logSize：表示该partition已经写了多少条message

Lag：表示有多少条message没有被消费。

Owner：表示消费者

Created：该partition创建时间

Last Seen：消费状态刷新最新时间。

这里我们使用的工具的gtihub 地址是：

https://github.com/smartloli/kafka-eagle

文档地址是：

https://ke.smartloli.org/3.Manuals/1.Dashboard.html

在ELK使用的时候发现两个问题：

1：consumer 没有返回给producer offset，导致我们从控制台看到offset为0，同时我们的consumer没有指定consumer name ，导致在后台查看的时候我们不是到group_name 是那个topic。默认的是console consumer 加一串随机数，这里监控kafka消费情况用的是KafkaOffsetMonitor，当然也可以使用kafka-manager。比较下来还是使用KafkaOffsetMonitor（操作kafka-manager不当的话，可能会导致kafka集群挂了）

目前我们发现这种情况，有部分的消息会重复消费，但是有部分的消息不会重复消费，这个很奇怪，请教了一下开发，按理说offset 为 0 的话，这里应该会一直重试，这个问题目前还是没有查到根本原因，也只是暂时解决

目前暂时的解决方案是：kafka 指定group_id

2。发现filebeat 进程一重启，日志文件就会重新读取。其实默认情况下filebeat 有把被采集的所有日志的相关信息记录到registry.默认是关键安装目录下的data/registry 文件里，但是我们客户端启动了多个filebeat 进程，每个filebeat 采集不同的日志数据文件，所以所有的采集日志的信息都记录在了这一个registry 文件里。registry文件的内容格式如下：

{"source":"/data/logs/xdpay/xdpay-listener/xdpay-listener.log","offset":10451444,"FileStateOS":{"inode":539426564,"device":64784},"timestamp":"2018-07-13T15:37:10.067048399+08:00","ttl":-1}]

这里我们最关注的应该就是这个offset 了。我们可以cat 看到我们的registry文件的内容（我们对每个filebeat进程配置了不同的registry文件路径），这个文件内容永远只有一行，我们会看到这个offset一直在变（当然其他的也在变）。

调整方案为：每个进程指定一个registry路径 /data/package/filebeat/${APPID}/registry

这个是临时解决方案，按照官网的说法其实不配置也可以，但是我的环境不配置的话，虽然有默认的registry文件，但是每次重启filebeat的时候会导致日志文件重头读取，所以这个是暂时的解决方案。

当然后续可能还会陆陆续续有其他的问题，慢慢调吧！！！

kafka 监控（eagle）相关推荐

Kafka监控eagle
Kafka 监控 [root@node6 ~]# /opt/zookeeper/bin/zk [root@node6 ~]# /opt/kafka/bin/kafka-server-start.sh ...
DataPipeline |《Apache Kafka实战》作者胡夕：Apache Kafka监控与调优
胡夕,<Apache Kafka实战>作者,北航计算机硕士毕业,现任某互金公司计算平台总监,曾就职于IBM.搜狗.微博等公司.国内活跃的Kafka代码贡献者. 前言虽然目前Apache ...
kafka监控（一）：kafka-eagle
kafka-eagle是一款kafka监控软件,是笔者在接触kafka这几年来,使用的最好的一款开源监控工具.它可以同时监控多个集群,监控 Kafka 集群中 Topic 被消费的情况.包含 Lag ...
kafka详解（JAVA API操作kafka、kafka原理、kafka监控）-step2
1.JAVA API操作kafka 修改Windows的Host文件: 目录:C:\Windows\System32\drivers\etc (win10) 内容: 192.168.40.150 k ...
（四） prometheus + grafana + alertmanager 配置Kafka监控
安装请看https://blog.51cto.com/liuqs/2027365 ,最好是对应的版本组件,否则可能会有差别. (一)prometheus + grafana + alertmanage ...
Kafka监控架构设计
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...
Kafka监控：Kafka-Manager
2019独角兽企业重金招聘Python工程师标准>>> Kafka Manager是雅虎开发的kafka监控及管理工具,项目地址:https://github.com/yahoo/k ...
【kafka 监控】Kafka_exporter+prometheus 监控kafka数据
一.kafka_exporter 安装步骤: Kafka_exporter是一款用于将Kafka集群的监控指标暴露给Prometheus的开源工具,可以用于监控Kafka集群的各种状态数据.下面是Ka ...
Java kafka监控 topic的数据量count情况,每个topic的Summed Recent Offsets(总结最近的偏移量)
Java使用kafka的API来监控kafka的某些topic的数据量增量,offset,定时查总量之后,然后计算差值,然后就可以算单位间隔的每个topic的增量,kafka监控一般都是监控的吞吐量, ...
java查看kafka数据量_Java kafka监控 topic的数据量count情况,每个topic的offset，
Java使用kafka的API来监控kafka的某些topic的数据量增量,offset,定时查总量之后,然后计算差值,然后就可以算单位间隔的每个topic的增量,kafka监控一般都是监控的吞吐量, ...

kafka 监控（eagle）

kafka 监控（eagle）相关推荐

最新文章

热门文章