【kafka】kafka创建topic如何确定分区，如何计算kafka机器台数

1、创建test topic 单分区

bin/kafka-topics.sh --create --replication-factor 2 --partitions 1 --topic test --zookeeper xxx:2181

2、producer压力测试

bin/kafka-producer-perf-test.sh  --topic test --record-size 100 --num-records 100000 --throughput -1 --producer-props bootstrap.servers=xxx:9092

3、consumer压力测试

bin/kafka-consumer-perf-test.sh --broker-list xxx:9092 --topic test --fetch-size 10000 --messages 10000000 --threads 1

4、结果计算：

1、压测 producer 最大可达 6.37MB/s
2、压测 consumer  --0.6453MB/s -- 一条1k =645条/s  一天可消费=51,840,000条
故单分区的消费能力还是很高的。根据你监控的数据条数来决定，最大条数如果是1000条/s,那么分区可以计算为：1000/645=2个，为了安全起见设置为3个。3、结论：一般分区设置为3-10个
机器台数也是，Kafka机器数量（经验公式）= 2 *（峰值生产速度 * 副本数 / 100）+ 1

【kafka】kafka创建topic如何确定分区，如何计算kafka机器台数相关推荐

kafka练习:创建topic以及生产与消费
1.java和scala版本的kafka adminclient去创建topic主题? scala版本 import java.util import java.util.Properties imp ...
kafka监听topic消费_Kafka消费者-从Kafka读取数据
(1)Customer和Customer Group (1)两种常用的消息模型队列模型(queuing)和发布-订阅模型(publish-subscribe). 队列的处理方式是一组消费者从服务器读 ...
kafka常用命令 topic创建删除设置保存时间消费情况 zookeeper 启动停止
启动kafka sh kafka-server-start.sh -daemon ../config/server.properties 停止kafka sh kafka-server-stop.sh ...
kafka监听topic消费_分布式专题｜最近一直死磕kafka设计原理，都肝吐了
kafka架构图 kafka核心控制器定义在kafka集群中,会选举出一个broker作为控制器(controller),负责管理集群中所有的分区和副本的状态: 职责监听broker变化,通过监 ...
kafka彻底删除topic(cleanup policy)、清除特定topic数据
一.彻底不需要该topic了假设topic为test-0921 步骤如下: ①$KAFKA/bin/kafka-topics.sh --delete --zookeeper Desktop:2181 ...
kafka安装完整步骤_还在寻找Kafka最新的安装教程吗？精细的安装步骤分享给大家...
Kafka集群部署概述之前的大数据集群主要是离线处理的方式对集群的数据进行开发处理.当前的集群数据量已经达到了PB级别了,离线数据获取主要是从数仓侧进行全量或者增量的方式导入大数据平台,部分是通过 ...
Kafka从入门到精通（八）Kafka原理
1. 监控工具Kafka-eagle介绍省略 2. Kafka原理 2.1 分区的leader与follower 2.1.1 Leader和Follower 在Kafka中,每个topic都可以配置 ...
Kafka创建Topic时如何将分区放置到不同的Broker中
熟悉 Kafka 的同学肯定知道,每个主题有多个分区,每个分区会存在多个副本,本文今天要讨论的是这些副本是怎么样放置在 Kafka 集群的 Broker 中的. 大家可能在网上看过这方面的知识,网上对 ...
创建topic验证kafka集群
0)'''kafka&zookpeer信息''' zkinfo: 172.18.238.2:2181 172.18.238.3:2181 172.18.238.4:2181 kafkainfo ...

【kafka】kafka创建topic如何确定分区，如何计算kafka机器台数

1、创建test topic 单分区

2、producer压力测试

3、consumer压力测试

4、结果计算：

【kafka】kafka创建topic如何确定分区，如何计算kafka机器台数相关推荐

最新文章

热门文章