题目：kafka分区数的设置

答案：

（1）创建一个只有1个分区的topic
（2）测试这个topic的Producer吞吐量和consumer吞吐量
（3）假设它们的值分别是Tp和Tc，单位可以是MB/s
（4）然后假设总的目标吞吐量是Tt，那么分区数=Tt/min（Tp，Tc）
例如：producer吞吐量=20m/s；consumer吞吐量=50m/s，期望吞吐量100m/s；
分区数=100/20=5分区
分区数一般设置为：3-10个
分区数不是越多越好，也不是越少越好，需要搭建完集群，进行压测，再灵活调整分区
https://blog.csdn.net/weixin_42641909/article/details/89294698

09-kafka分区数的设置相关推荐

kafka分区数如何设置_干货时间 | 如何快速进行硬盘分区并设置大小？
双十一刚刚过去, 欢迎全新加入的粉丝们最近,小编收到不少新粉丝留言询问硬盘分区问题今天小编就给大家简单科普一下操作方法详解首先,在桌面右键计算机选择[管理] 稍等片刻之后,就会出现一个界面, ...
Kafka：合理设置分区数
(1)创建一个只有 1 个分区的 topic. (2)测试这个 topic 的 producer 吞吐量和 consumer 吞吐量. (3)假设他们的值分别是 Tp 和 Tc,单位可以是 MB/s. ...
CDH 版本 Kafka 外网设置
登陆CDH页面,进入Kafka配置页面搜索 advertised 修改advertised.host.name,这里我们有三台Broker,我们把每台的外网ip填写到对应的机器上 advertise ...
【Flink】flink并行度与kafka分区(partition)设置
1.概述默认: [Flink]FlinkConsumer是如何保证一个partition对应一个thread的当分区与并行度不一样呢? 2.原理采用取模运算:平衡 kafka partition ...
Kafka系列之：不重启kafka集群设置kafka topic数据保留时间
Kafka系列之:不重启kafka集群设置kafka topic数据保留时间一.kafka topic数据保留3天的bash命令二.查看kafka删除数据日志三.批量设置上千个topic保留3天 ...
kafka分区数设置多少合适
kafka的每个topic都可以创建多个partition,partition的数量无上限,并不会像replica一样受限于broker的数量,因此partition的数量可以随心所欲的设置.那确定p ...
Kafka关键参数设置
生产环境中使用Kafka,参数调优非常重要,而Kafka参数众多,我们的java的Configuration代码中,经常设置的参数如下: Properties props = new Properti ...
java consumer.poll_java – 无法在kafka consumer下设置’max.poll.records’,其中cons.poll仍然返回分区下的所有记录...
我创建了多线程消费者应用程序来处理各种分区. 查看各种博客,我开始了解'max.poll.records'属性,以便控制来自给定主题,分区的记录集.(因此它可以很快从记录循环中出来,因此调用cons. ...
Kafka Producer 参数设置详解
主要介绍下kafka的producer配置参数,只取了其中的一部分常用的,后续的有时间,也会补充一些,更多的详细参数,可以参考<kafka官网>,参数的内容,主要是选取<apache ...

09-kafka分区数的设置

题目：kafka分区数的设置

答案：

09-kafka分区数的设置相关推荐

最新文章

热门文章