kafka手动调整分区副本数

前言

在生产环境中，akfka集群下的每台服务器的配置和性能可能不一样，但Kafka集群只会根据配置规则创建对应的分区副本，这样一来可能就会导致个别服务器存储压力较大。

在这种情况下，就需要手动调整分区副本的存储。我们不妨看看下面的这张图就明白了

上图的传达的意思是：

broker0和broker1所在的服务器配置较高，存储容量较大，但是broker2和broker3所在的机器配置稍差存储容量较小，一开始创建出主题之后，集群只会按照默认的配置规则，将leader和follower均匀的分配到不同的节点上去，并不知道具体哪一台机器的配置如何；

但实际上，我们希望某台服务器承担更多的读写压力，这样的话，就需要事后人为进行手动的对分区副本的调整

来看看我们的需求

创建一个新的topic，4个分区，两个副本，名为three，将该topic的所有副本都存储到broker1和broker2两台服务器上

前置准备

centos7服务器，虚拟机或者云服务器
提前安装好kafka集群，并启动集群

kafka手动调整分区副本数相关推荐

Kafka系列 - 10 Kafka副本|分区副本分配|手动调整分区副本|Leader Partition 负载平衡|增加副本因子
文章目录 1. 分区副本分配 2. 手动调整分区副本 3. Leader Partition 负载平衡 4. 增加副本因子 1. 分区副本分配如果 kafka 服务器只有 4 个节点,那么设置 ka ...
kafka 修改分区_kafka修改分区和副本数
kafka修改分区和副本数查看现在副本分配情况 ../bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic test1 ...
增加(或减少)Kafka topic的副本数
之前的文章讲述了Kafka的分区重分配,该方法同样可以用来增加或减少Kafka topic的副本数.该方法,可灵活地运用于提高topic的高可用性,提高数据的读写等场景. 目录从一个副本数,增加到2 ...
kafka 在线修改副本数
背景前段时间由于集群各台机器配置不一样,导致部分机器磁盘吃紧.定位发现kafka log数据占了一半的容量,而且某一个topic的数据惊人,50个partition,每个partition24G, ...
设置文件副本数_ElasticSearch平滑批量缩减索引分片数实践
一.背景 Elasticsearch作为开源分布式检索分析引擎,具有近实时的检索能力.海量数据的分布式存储能力.海量数据的近实时分析能力,目前广泛应用于国内外互联网公司.站内检索.订单类数据的多 ...
【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,附视频)
超强!!! Kafka高质量专栏学习大全,点我获取!!! 文章目录前提所有异常情况 1. TargetBroker若不在线,迁移脚本执行会失败情景演示 2. TargetBroker在开始迁移过 ...
Kafka 原理以及分区分配策略剖析
欢迎关注方志朋的博客,回复"666"获面试宝典 ‍ ‍一.简介‍ ‍ Apache Kafka 是一个分布式的流处理平台(分布式的基于发布/订阅模式的消息队列[Message Qu ...
gparted调整分区大小_Windows系统分区可用空间不足问题解决终极方法
虽然移动网络时代了,但是还会经常遇到一些朋友同事抱怨说电脑卡顿或可用空间不足,向我请教处理办法. windows系统使用时间长了,会导致系统C分区可使用空间不足,可导致很多程序无法使用,还是很麻烦的. ...
hdfs的副本数为啥增加了_HDFS架构小结
分布式文件系统 - Hadoop Distributed File System (HDFS)运行于通用硬件上的分布式文件系统,高吞吐,高可靠. HDFS架构 HDFS主要由NameNode.Seco ...

kafka手动调整分区副本数

前言

前置准备

kafka手动调整分区副本数相关推荐

最新文章

热门文章