Kafka集群配置说明

#kafka数据的存放地址，多个地址的话用逗号分

log.dirs=/tmp/kafka-logs

#broker server服务端口

port=9092

#这个参数会在日志segment没有达到log.segment.bytes设置的大小，也会强制新建一个segment会被 topic创建时的指定参数覆盖

log.roll.hours=24

#是否允许控制器关闭broker ,若是设置为true,会关闭所有在这个broker上的leader，并转移到其他broker

controlled.shutdown.enable=false

#控制器关闭的尝试次数

controlled.shutdown.max.retries=3

#每次关闭尝试的时间间隔
controlled.shutdown.retry.backoff.ms=5000

#partition leader与replicas数据同步时,消息的队列

controller.message.queue.size=10

#partition leader与replicas之间通讯时,socket的超时时间

controller.socket.timeout.ms=30000

#是否允许自动创建topic，若是false，就需要通过命令创建topic

default.replication.factory=1

#表示消息体的最大大小，单位是字节

message.max.bytes=1000000

#broker处理磁盘IO的线程数，数值应该大于你的硬盘数

num.io.threads=8

#broker处理消息的最大线程数，一般情况下不需要去修改

num.network.threads=3

#每个topic的分区个数，若是在topic创建时候没有指定的话会被topic创建时的指定参数覆盖

num.partitions=1

#leader中进行复制的线程数，增大这个数值会增加relipca的IO

num.replica.fetchers=1

#ZooKeeper的连接超时时间

zookeeper.connection.timeout.ms=20000

其他参考：

转载于:https://www.cnblogs.com/yangsy0915/p/5933332.html

Kafka集群配置说明相关推荐

转-Kafka【第一篇】Kafka集群搭建
转自: https://www.cnblogs.com/luotianshuai/p/5206662.html Kafka[第一篇]Kafka集群搭建 Kafka初识 1.Kafka使用背景在我们大 ...
kafka集群搭建(消息)
1.Kafka使用背景在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位我想对用户的搜索关键词进行 ...
Kafka集群部署CentOS 7
一.前言 1.Kafka简介 Kafka是一个开源的分布式消息引擎/消息中间件,同时Kafka也是一个流处理平台.Kakfa支持以发布/订阅的方式在应用间传递消息,同时并基于消息功能添加了Kafka ...
zookeeper 和 kafka 集群搭建
Kafka初识 1.Kafka使用背景在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位我想对用户 ...
Zookeeper+Kafka集群搭建
Zookeeper集群搭建 Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群. 1.软件环境 (3台服务器-我的测试) 192.168.30.204 server1 ...
java查看kafka集群状态_Linux系统 Kafka集群
Kafka相关概念 Kafka的定义它是一个分布式消息系统,由linkedin使用scala编写,用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline) ...
java kafka 集群消费_kafka集群搭建和使用Java写kafka生产者消费者
转自:http://chengjianxiaoxue.iteye.com/blog/2190488 1 kafka集群搭建 1.zookeeper集群搭建在110, 111,112 2.kafka使 ...
打造全球最大规模 Kafka 集群，Uber 的多区域灾备实践
- Uber 的 Kafka 生态系统 - Uber 拥有世界上最大的 Kafka 集群,每天处理数万亿条消息和几个 PB 的数据.如图 1 所示,Kafka 现在成了 Uber 技术栈的基石,我们基 ...
如何找到Kafka集群的吞吐量极限？\n
Kafka是非常流行的分布式流式处理和大数据消息队列解决方案,在技术行业已经得到了广泛采用,在Dropbox也不例外.Kafka在Dropbox的很多分布式系统数据结构中发挥着重要的作用:数据分析.机 ...

Kafka集群配置说明

Kafka集群配置说明相关推荐

最新文章

热门文章