kafka分区分配策略

kafka的分区分配策略大概可以分为一下几步：
前置条件：
a.假设消费者组到对应的server的GroupCordinator是已知的，这个groupCordinator和消费组对应的_offset_消费主题所在的leader分区在同一个broker上面
b.对于每个消费者服务端都会给一个独一无二的标识：
client_id + uuid标识

1.每个消费者发送joingroup请求到groupCordinator中，这个请求中带着分区策略(比如rangeAssignator和stickyAssignator)
2.服务端的groupCordinator确定这个消费者组使用的分区策略，规则大致是多数原则，也就是得票最多的分区策略作为整个消费组的分区策略
3.服务器的groupCordinator还要确定一个消费者leader，消费者leader的确定非常简单，要么是第一个加入消费者组的消费者要么是随机一个消费者作为消费者leader
4.服务端的groupCordinator会把确定好的分区分配策略发送给所有的消费者，其中发给消费者leader的消息中会包含所有的消费者信息，这样leader消费者就使用这个分区分配策略的具体本地实现类实现具体分区分配逻辑
5.leader消费者把具体的每个消费者对应的消费分区的详细信息发送给groupCordinator，groupCordinator会把这个具体的分配信息同步给所有的消费者

总结：具体的分区分配策略是由消费者客户端实现的，如果要支持其他的比如自定义的分区分配策略，只需要客户端实现并重启消费者实例组即可，kafka服务器无需重启

kafka分区分配策略相关推荐

Kafka分区分配策略（4）——分配的实施
接上文: 1.[Kafka分区分配策略(1)--RangeAssignor] 2.[Kafka分区分配策略(2)--RoundRobinAssignor和StickyAssignor] 3.[Kafk ...
Kafka分区分配策略（3）——自定义分区分配策略
接上文: 1.[Kafka分区分配策略(1)--RangeAssignor] 2.[Kafka分区分配策略(2)--RoundRobinAssignor和StickyAssignor] 欢迎支持笔者新 ...
Kafka分区分配策略（2）——RoundRobinAssignor和StickyAssignor
接上文[Kafka分区分配策略(1)--RangeAssignor] 欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔 ...
9.Kafka 分区分配策略（Range分配策略 RoundRobin分配策略）
前言在 Kafka 实际生产过程中,每个 topic 都会有多个 partitions. 1.多个Partitions有什么好处? ①多个 partition ,能够对 broker 上的数据 ...
Kafka分区分配策略(Partition Assignment Strategy)
问题用过 Kafka 的同学用过都知道,每个 Topic 一般会有很多个 partitions.为了使得我们能够及时消费消息,我们也可能会启动多个 Consumer 去消费,而每个 Consumer ...
Kafka分区分配策略（1）——RangeAssignor
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...
Kafka分区分配策略以及重平衡过程总结
Kafka自身提供了三种分区分配策略,通过消费者端配置参数partition.assignment.strategy来控制. 1.RangeAssignor分配策略(kafka默认的分区策略) 通过配 ...
Kafka 原理以及分区分配策略剖析
欢迎关注方志朋的博客,回复"666"获面试宝典 ‍ ‍一.简介‍ ‍ Apache Kafka 是一个分布式的流处理平台(分布式的基于发布/订阅模式的消息队列[Message Qu ...
kafka partition分配_kafka的分区分配策略
用过 Kafka 的同学应该都知道,每个 Topic 一般会有很多个 partitions.为了使得我们能够及时消费消息,我们也可能会启动多个 Consumer 去消费,而每个 Consumer 又会 ...

kafka分区分配策略

kafka分区分配策略相关推荐

最新文章

热门文章