1.概述

新版本 consumer 默认把位移提交到 consumer offsets 中。其Kafka 也支持用户把位移提交到外部存储中，比如数据库中。若要实现这个功能，用户就必须使用 rebalance 监听器。使用 rebalance 监听器的前提是用户使用 consumer group 。如果使用的是独立 consumer 或是直接手动分配分区，那么 rebalance 监听器是无效的。

rebalance 监听器有一个主要的接口回调类ConsumerRebalanceListener ，里面就两个方法
onPartitionsRevoked 和 onPartitionAssigned 在 coordinator 开启新一轮 rebalance 前onPartitionsRevoked 方法会被调用，而 rebalance 完成后会调用 onPartitionsAssigned 方法。

再均衡指的是发生以下情况之一而造成的分区消息重新分配的情况：

消费者上下线消费组内的消费者数量发生了变化
消费者订阅的主题发生了变化
主题对应的分区变化

若在再均衡过程中采用了kafka的自动提交机制就可能造成再

【Kafka】kafka 再均衡监听器 ConsumerRebalanceListener相关推荐

kafka再均衡监听器测试
[README] 本文使用的kafka是最新的 kafka3.0.0:本文kafka集群有3个节点分别是 centos201, centos202, centos203 : brokerid 分别为 ...
Kafka 再均衡监听器示例
Kafka 再均衡监听器示例依赖介绍代码生产者生产任务消费者消费任务再均衡监听器结果生产者消费者启动生产者之前启动生产者后,第三线程关闭之前第三线程关闭后,分区再平衡分区 ...
关于Kafka中的再均衡
本文来说下Kafka中的再均衡文章目录概述触发时机协调者交互方式处理流程本文小结概述在Kafka消费者的使用和原理中已经提到过"再均衡"的概念,我们先回顾下,一个 ...
学Kafka，就必须了解的再均衡问题！
作者 | 草捏子来源 | 草捏子(ID:chaycao) 头图 | CSDN 下载自东方IC 在<Kafka消费者的使用和原理>中已经提到过"再均衡"的概念,我们先 ...
Kafka | Kafka的消费再均衡是指什么？
记录收藏一波强大网友的解读: https://www.cnblogs.com/luozhiyun/p/11909315.html 摘自原文: 就目前而言,一共有如下几种情形会触发再均衡的操作: 有新的 ...
[kafka]kafka中的zookeeper是做什么的？
前言为什么自己要整理博客和学习笔记呢?是想把知识系统的,有条理的归纳在一起~ 而且一个东西的完成,也很有成就感,还可以打卡某一个知识点. 标红可以快速回忆自己整理过的知识~ ZooKeeper是什么 ...
[Kafka] Kafka基本架构
[Kafka] Kafka基本架构 [Kafka] Kafka基本架构 [Kafka] Kafka基本架构生产者Producer :生产信息: 消费者Consumer :订阅主题.消费信息: 代理B ...
[Big Data - Kafka] kafka学习笔记：知识点整理
一.为什么需要消息系统 1.解耦: 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束. 2.冗余:消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险.许 ...
linux上卸载kafka,kafka安装在linux上的安装
kafka安装第一关 java的安装捞得嘛,不谈第二关 zookeeper的安装及配置 1. 直接打开Apach zookeeper进行下载 Tips: source 是源文件,需要编译后才能继 ...

【Kafka】kafka 再均衡监听器 ConsumerRebalanceListener

1.概述

【Kafka】kafka 再均衡监听器 ConsumerRebalanceListener相关推荐

最新文章

热门文章