1.概述

首先参考文章：【kafka】Kafka消费者分区分配策略详解

2.官网

地址：Static Membership

静态成员关系旨在提高流应用程序、消费者组和其他构建在组再平衡协议之上的应用程序的可用性。rebalance协议依赖于组协调器为组成员分配实体id。这些生成的id是短暂的，当成员重新启动和重新加入时将会改变。对于基于消费者的应用程序，这种“动态成员”可能会导致在代码部署、配置更新和定期重启等管理操作期间，将大量任务重新分配给不同的实例。对于大型状态应用程序，在处理前，打乱的任务需要很长时间来恢复其本地状态，从而导致应用程序部分或完全不可用。基于这种观察，Kafka的组管理协议允许组成员提供持久的实体id。基于这些id，组成员保持不变，因此不会触发再平衡。

如果要使用静态成员资格，

将代理集群和客户端应用程序升级到 2.3 或更高版本，并确保升级后的代理也使用inter.broker.protocol.vers

【kafka】kafka 2.4 static membership功能 group.instance.id相关推荐

[Big Data - Kafka] Kafka设计解析（四）：Kafka Consumer解析
High Level Consumer 很多时候,客户程序只是希望从Kafka读取数据,不太关心消息offset的处理.同时也希望提供一些语义,例如同一条消息只被某一个Consumer消费(单播)或被 ...
[Kafka] Kafka基本架构
[Kafka] Kafka基本架构 [Kafka] Kafka基本架构 [Kafka] Kafka基本架构生产者Producer :生产信息: 消费者Consumer :订阅主题.消费信息: 代理B ...
Warning: Static member accessed via instance reference
Warning: Static member accessed via instance reference Shows references to static methods and fields ...
kafka 主动消费_Kafka消费组(consumer group)
在开始之前,我想花一点时间先来明确一些概念和术语,这会极大地方便我们下面的讨论.另外请原谅这文章有点长,毕竟要讨论的东西很多,虽然已然删除了很多太过细节的东西. 一. 误区澄清与概念明确 1 Kafk ...
Kafka中的消费者组（Consumer Group）
1. 消费者组(Consumer Group) 消费者组是Kafka实现单播和广播两种消息模型的手段.同一个topic,每个消费者组都可以拿到相同的全部数据. 1.1 消费者多于分区数创建一个用于测 ...
kafka 分组消费topic_Kafka消费组(consumer group)(转）
在开始之前,我想花一点时间先来明确一些概念和术语,这会极大地方便我们下面的讨论.另外请原谅这文章有点长,毕竟要讨论的东西很多,虽然已然删除了很多太过细节的东西. 一. 误区澄清与概念明确 1 Kafk ...
kafka开源版本quota限流功能缺陷
1.当前quota维度如下 /config/users/<user>/clients/<client id> /config/users/<user>/client ...
【kafka】kafka 判断消费组死掉方案 group dead
文章目录 1.概述 2.低版本 2.1 zk存在offset 2.2 AdminClient 3.高版本 4. GroupCoordinator 5. 监控currentOffset 6. 监控日志 ...
Spark消费kafka任务卡死：Marking the coordinator xxx:9092 (id: 2147483647 rack: null) dead for group xxx
1.背景 2. 问题出现运行了一个spark任务,然后,发现有一个Job特别的慢,其他的最多用了30分钟,但是这个任务却运行了 1.1个小时,数据量是100万的数据. 2.1 任务点击进入 2.2 ...

【kafka】kafka 2.4 static membership功能 group.instance.id

1.概述

2.官网

【kafka】kafka 2.4 static membership功能 group.instance.id相关推荐

最新文章

热门文章