consumer和partition的数量建议

1. 如果consumer比partition多，是浪费，因为kafka的设计是在一个partition上是不允许并发的，所以consumer数不要大于partition数

2. 如果consumer比partition少，一个consumer会对应于多个partitions，这里主要合理分配consumer数和partition数，否则会导致partition里面的数据被取的不均匀。最好partiton数目是consumer数目的整数倍，所以partition数目很重要，比如取24，就很容易设定consumer数目

3. 如果consumer从多个partition读到数据，不保证数据间的顺序性，kafka只保证在一个partition上数据是有序的，但多个partition，根据你读的顺序会有不同

4. 增减consumer，broker，partition会导致rebalance，所以rebalance后consumer对应的partition会发生变化

consumer和partition的数量建议相关推荐

kafka中consumer和partition的对应关系
参考文章:https://www.cnblogs.com/gxyandwmm/p/11442328.html 一个partition只能被同组的一个consumer消费,同组的consumer则起到均 ...
kafka consumer、partition、rebalance
发送消息分配partition Producer发送消息到Topic时,分配partition的算法如下: 如果指定了一个partition,那么直接使用指定的partition 如果没有指定part ...
OpenShift 4 之AMQ Streams(1) - 多个Consumer从Partition接收数据
<OpenShift 4.x HOL教程汇总> 文章目录 AMQ Streams是什么? 安装 AMQ Streams 环境安装AMQ Streams Operator 创建Kafka集 ...
kafka 消息分发机制、分区和副本机制
一.消息分发机制 1.1 kafka 消息分发策略消息是 kafka 中最基本的数据单元,在 kafka 中,一条消息由key.value两部分构成,在发送一条消息时,我们可以指定这个key,那么 ...
Kafka 的实现原理
1.消息中间件能做什么? 1.1 异步处理消息中间件主要解决的就是分布式系统之间消息传递的问题,它能够屏蔽各种平台以及协议之间的特性,实现应用程序之间的协同.举个非常简单的例子,就拿一个电商平台的注 ...
图解kafka - 设计原理解析
什么是消息队列? 简单来说,消息队列是存放消息的容器.客户端可以将消息发送到消息服务器,也可以从消息服务器获取消息. 问题导读: ********* 为什么需要消息系统? kafka架构? kafka ...
Kafka设计原理看了又忘，忘了又看？
什么是消息队列?简单来说,消息队列是存放消息的容器.客户端可以将消息发送到消息服务器,也可以从消息服务器获取消息. 作者:lbzhello来源:博客园|2019-07-18 09:17 什么是消息队列 ...
kafka深入研究之路(1)-剖析各原理02
kafka深入研究之路(1)-剖析各原理02 接着上一文的内容继续升入研究 topic如何创建于删除的 topic的创建具体流程文字为: 1. controller 在 ZooKeeper 的 / ...
kafka修改分区数_Kafka笔记
一.kafka基本介绍 1概念:是一个分布式的基于发布/订阅模式的消息队列,应用于大数据实时处理 1.消息队列(topic): 优点:解耦可恢复性缓冲削峰异步通信两种模式: 点对点模式:一对 ...

consumer和partition的数量建议

consumer和partition的数量建议相关推荐

最新文章

热门文章