kafka消费者分区消费策略

前言

在上一篇，我们谈到了从生产者一端，kafka是基于何种策略，将消息推送到集群下topic的不同分区中，可以使用kafka自带的分区策略，也可以根据自身的业务定制消息推送的分区策略

而从消费者一端来看，consumer连接到kafka集群之后，是基于什么样的分区策略进行消息消费的呢？

kafka消息消费原理

如上图所示，kafka的设计架构让它从开始就为分布式而生，上图是一个简单的消息消费示意图，我们知道，一个topic下可以设置多个分区，每隔分区又可以设置多个副本

消费者从topic拉取消息的时候，实际上就是从topic下的各个分区获取消息，在实际应用中，为提升和最大化发挥kafka的吞吐量和整体性能，在设计消费端的程序时，往往通过设置消费者组，通过消费者组中的多个消费者共同去消费分区中的数据

这样做的好处很明显，提升了整体消费的效率，由于kafka往往应用在数据量非常大的场景中，单个消费者肯定很难支撑kafka每秒上万的消息投递量，通过设置消费者组就可以达到高速消费的目的，最大化利用服务器性能

在程序中我们可以看到如下的配置：

kafka消费者分区消费策略相关推荐

【kafka】Kafka消费者分区分配策略详解
文章目录 1.概述 2.RoundRobinAssignor详解 3.RangeAssignor详解 4.StickyAssignor详解 5.CooperativeStickyAssignor详解 ...
kafka 消费者的消费策略以及再平衡
一 kafka的消费策略 1 .一个 consumer group 中有多个 consumer 组成,一个 topic 有多个 partition 组成,现在的问题是, 到底由哪个 consumer ...
Kafka系列 - 14 Kafka消费者|分区的分配策略及再平衡|Range|RoundRobin|Sticky|CooperativeSticky
文章目录 1. 分区的分配以及再平衡 2. Range 分区分配以及再平衡 3. RoundRobin 分区分配以及再平衡 4. Sticky 分区分配以及再平衡 1. 分区的分配以及再平衡一个co ...
聊聊Kafka(三)Kafka消费者与消费组
Kafka消费者与消费组简介消费者概念入门消费者.消费组心跳机制消息接收必要参数配置订阅反序列化位移提交消费者位移管理再均衡避免重平衡消费者拦截器消费组管理什么是消费者 ...
Kafka学习(十)--Kafka消费者Consumer消费消息配置实战
一. Kafka消费者Consumer消费消息配置实战配置: public static Properties getProperties() {Properties props = new Pro ...
【kafka】kafka 指定分区消费不会触发 reblance
文章目录 1.概述 2.验证 2.1 2个都是subscribeTopic 2.2 指定消费与全部消费 2.3 两个指定消费 2.4 2个都消费同样的分区呢? 1.概述今天在博客:Kafka-消费, ...
kafka消费者分区的分配的三种机制
1.RangeAssignor RangeAssignor策略的原理是按照消费者总数和分区总数进行整除运算来获得一个跨度,然后将分区按照跨度进行平均分配,以保证分区尽可能均匀地分配给所有的消费者.对于 ...
Kafka消费者与消费组
消费者(Consumer)负责订阅Kafka中的主题(Topic),并且从订阅的主题上拉取消息.与其它一些消息中间件不同的是:在Kafka的消费理念中还有一层消费组(Consumer Group)的概 ...
怎么理解 Kafka 消费者与消费组之间的关系?
与生产者对应的是消费者,应用程序可以通过 KafkaConsumer 来订阅主题,并从订阅的主题中拉取消息.不过在使用 KafkaConsumer 消费消息之前需要先了解消费者和消费组的概念,否则无法 ...

kafka消费者分区消费策略

前言

kafka消费者分区消费策略相关推荐

最新文章

热门文章