Kafka：合理设置分区数

（1）创建一个只有 1 个分区的 topic。

（2）测试这个 topic 的 producer 吞吐量和 consumer 吞吐量。

（3）假设他们的值分别是 Tp 和 Tc，单位可以是 MB/s。

（4）然后假设总的目标吞吐量是 Tt，那么分区数 = Tt / min（Tp，Tc）。

例如：producer 吞吐量 = 20m/s；consumer 吞吐量 = 50m/s，期望吞吐量 100m/s；

分区数 = 100 / 20 = 5 分区

分区数一般设置为：3-10 个

分区数不是越多越好，也不是越少越好，需要搭建完集群，进行压测，再灵活调整分区个数。

Kafka：合理设置分区数相关推荐

kafka如何选择分区数及kafka性能测试
kafka如何选择分区数及kafka性能测试 1.简言如何选择合适的分区,这是我们经常面临的问题,不过针对这个问题,在网上并没有搜到固定的答案.因此,今天在这里主要通过性能测试的工具来告诉如何选 ...
第十五模块 kafka 可以脱离 zookeeper 单独使用吗、 kafka 有几种数据保留的策略、kafka 同时设置了 7 天和 10G 清除数据，到第五天的时候消息达到了 10G、怎么处理
总内容 kafka 可以脱离 zookeeper 单独使用吗?为什么? kafka 有几种数据保留的策略 kafka 同时设置了 7 天和 10G 清除数据,到第五天的时候消息达到了 10G,这个时候 ...
kafka重新设置consumer group的offset
kafka重新设置group的offset 使用Kafka自带的kafka-consumer-groups.sh脚本可随意设置消费者组(consumer group),这是0.11.0.0版本提供 ...
为什么Kafka中的分区数只能增加不能减少？
作者:朱小厮来源:朱小厮的博客当一个主题被创建之后,依然允许我们对其做一定的修改,比如修改分区个数.修改配置等,这个修改的功能就是由kafka-topics.sh脚本中的alter指令所提供.我们 ...
【kafka】 kafka如何设置指定分区进行发送和消费
1.概述我们有个需求是判断kafka分区是否进行了数据倾斜操作,如果数据倾斜了,要告警,然后我就需要写一个故意让数据倾斜的工具. 2.写入指定分区 Producer根据指定的partition方法( ...
Kafka参数设置与调优
Kafka关键参数设置生产环境中使用Kafka,参数调优非常重要,而Kafka参数众多,我们的java的Configuration代码中,经常设置的参数如下: Properties props = ...
【绝对干货】kafka偏移量设置
二.回顾整理阿里面试题基本就这样了,还有一些零星的问题想不起来了,答案也整理出来了. 自我介绍 JVM如何加载一个类的过程,双亲委派模型中有哪些方法? HashMap如何实现的? HashMap和C ...
历史性难题——如何为Kafka挑选合适的分区数？
作者:朱小厮来源:朱小厮的博客如何为Kafka挑选合适的分区数?很多人都为这个问题伤过脑筋. 从吞吐量方面考虑,增加合适的分区数可以很大程度上提升整体吞吐量,但是超过对应的阈值之后吞吐量不升反降. ...
weblogic jms消息删除_利用 Kafka 设置可靠的高性能分布式消息传递基础架构
世界已经迈进"移动"时代,现在应用程序必须能够实时提供数据,这不仅包括数据库表中存储的重要最终结果,还包括用户使用应用程序时执行的所有操作.任何可用信息,例如,用户点击量.日志数据 ...

Kafka：合理设置分区数

Kafka：合理设置分区数相关推荐

最新文章

热门文章