linux查看数据积压,查看kafka消息队列的积压情况

创建topic

kafka-topics --create --zookeeper master:2181/kafka2 --replication-factor 2 --partitions 3 --topic mydemo5

列出topic

kafka-topics --list --zookeeper master:2181/kafka2

描述topic

kafka-topics --describe --zookeeper master:2181/kafka2 --topic mydemo5

生产者生产消息

kafka-console-producer --broker-list master:9092 --topic mydemo5

消费者消费消息指定消费组名

kafka-console-consumer --bootstrap-server master:9092,node01:9092,node02:9092 --new-consumer --consumer-property group.id=test_kafka_game_x_g1 --topic mydemo5

查看正在运行的消费组

kafka-consumer-groups --bootstrap-server master:9092 --list --new-consumer

计算消息的消息堆积情况

kafka-consumer-groups --bootstrap-server master:9092 --describe --group test_kafka_game_x_g1

####详细说明

LogEndOffset 下一条将要被加入到日志的消息的位移

CurrentOffset 当前消费的位移

LAG 消息堆积量

消息堆积量：消息中间件服务端中所留存的消息与消费掉的消息之间的差值即为消息堆积量也称之为消费滞后量

LogEndOffset：代表Partition的最高日志位移。简称LEO

消息发送到LeaderA之后会更新LEO的值，FollowerB和FllowerC也会实时拉取LeaderA中的消息来更新自己，HW就表示A、B、C三者同时达到的日志位移。也就是A、B、C三者中LEO最小的那个值。由于B、C拉取A消息之间延时问题，所有HW必然不会与Leader的LEO相等，即LEO>=HW

linux查看数据积压,查看kafka消息队列的积压情况相关推荐

linux如何查看kafka消息队列,查看kafka消息队列的积压状况
建立topicnode kafka-topics --create --zookeeper master:2181/kafka2 --replication-factor 2 --partitions ...
kafka 统计消息总数_查看kafka消息队列的积压情况
创建topic kafka-topics --create --zookeeper master:2181/kafka2 --replication-factor 2 --partitions 3 - ...
kafka消息队列的概念理解
kafka在大数据.分布式架构中都很流行.kafka可以进行流式计算,也可以做为日志系统,还可以用于消息队列. kafka作为消息队列的优点: 分布式的系统高吞吐量.即使存储了许多TB的消息,它也保 ...
Flink使用KafkaSource从Kafka消息队列中读取数据
Flink使用KafkaSource从Kafka消息队列中读取数据使用KafkaSource从Kafka消息队列中读取数据 1.KafkaSource创建的DataStream是一个并行的DataS ...
【菜鸟教程】Kafka消息队列入门上（安装、集群搭建、基本命令行操作）
概述定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域. 消息队列什么是消息队列呢? 例如在网站注册时,一般是同步的,当接收到 ...
19 kafka消息队列
文章目录 19 kafka消息队列一.kafka介绍 1.消息队列基本介绍 2.常用的消息队列介绍 3.消息队列的应用场景 4.消息队列的两种模式 5.kafka的基本介绍 6.kafka的架构介绍 ...
kafka 消息队列
kafka 消息队列 kafka 架构原理大数据时代来临,如果你还不知道Kafka那就真的out了!据统计,有三分之一的世界财富500强企业正在使用Kafka,包括所有TOP10旅游公司,7家TOP ...
Kafka 消息队列的使用
本篇概要: 1. 消息队列相关概念: 2. Kafka 消息队列: 3. 安装 Kafka 服务: 4. 安装PHP的 Kafka 扩展 rdkafka: 5. 编写 Kafka 的生产者方法: 6. ...
Kafka消息队列的搭建与基础使用
一.Kafka消息队列 1.为什么需要消息队列? 解耦冗余扩展性灵活性 & 峰值处理能力可恢复性顺序保证缓冲异步通信 2.消息队列的模式 1.点对点模式一对一,消费者主动拉取数 ...

linux查看数据积压,查看kafka消息队列的积压情况

linux查看数据积压,查看kafka消息队列的积压情况相关推荐

最新文章

热门文章