kafka 集群服役新节点

前言

在生产环境下，kafka集群中发现遇到了性能瓶颈，主要体现在现有的集群下，某个topic的分区存储不够用了，生产者生产消息量太大，或者消费端消费速度跟不上生产进度，导致分区数据大量堆积；

在这种情况下，为缓解集群压力，可以考虑动态扩容kafka集群，也叫做服役新节点，本篇演示下如何基于现有的kafka集群快速服役一台新的kafka节点（或实例）

环境准备

1、虚拟机一台，并安装centos7的系统（或者阿里云等云服务器），4核8G
2、kafka_2.12-2.7.0 安装包，以及zookeeper安装包

kafka集群搭建

为演示后面的效果，需要提前搭建好kafka集群，这里演示下单机模式下的3节点kafka伪集群搭建过程

1、解压安装包

tar -zxvf kafka_2......

2、创建一个data目录，并在data目录下创建4个子目录

kafka 集群服役新节点相关推荐

向基于Linux的Oracle RAC 10g集群添加新节点
在多数业务中,Oracle真正应用集群 (RAC) 配置的主要业务要求是整个系统中数据库层的可伸缩性 - 这样,当用户数增加时,可将额外实例添加到该集群来分发该负载. 在Oracle RAC ...
HAC集群添加新节点
瀚高数据库目录环境文档用途详细信息环境系统平台:Linux x86-64 Red Hat Enterprise Linux 7 版本:4.5.7,4.5.6 文档用途本文档用于指导HAC ...
【Kafka】Kafka集群动态添加节点可行否
文章目录 1.概述 2.集群 2.1 准备2个节点 2.2 修改配置 2.2.1 node1 配置 2.2.2 node2 配置 2.3 启动zk 2.4 启动node1 2.5 测试 2.6 启动n ...
Hadoop集群添加新节点正确操作步骤
新加入的节点必须启动相关进程编辑白名单执行refresh命令
Apache Kafka-初体验Kafka(03)-Centos7下搭建kafka集群
文章目录概述部署信息配置信息验证概述对于kafka来说,一个单独的broker意味着kafka集群中只有一个节点.要想增加kafka集群中的节点数量,只需要多启动几个broker实例即可. ...
避坑指南：Kafka集群快速扩容的方案总结
什么是数据迁移 Apache Kafka 对于数据迁移的官方说法是分区重分配.即重新分配分区在集群的分布情况.官方提供了kafka-reassign-partitions.sh脚本来执行分区重分配操作 ...
kafka服务器死机消息,当kafka集群其中一台宕机后，会怎么样？
一.介绍我们搭建好kafka集群后,对其进行性能测试.遇到这种场景:我搭建好了三台kakfa集群,然后停掉其中一台kafka,然后集群是否能正常工作呢? kafka集群: 192.168.183.5 ...
kafka集群为什么需要三个节点_大白话带你认识 Kafka
前言应大部分的小伙伴的要求,在Yarn之前先来一个kafka的小插曲,轻松愉快. 一.Kafka基础消息系统的作用应该大部份小伙伴都清楚,用机油装箱举个例子所以消息系统就是如上图我们所说的仓库 ...
Kafka系列之：增加Kafka节点扩展Kafka集群
Kafka系列之:增加Kafka节点扩展Kafka集群一.增加Kafka节点二.分区重新分配工具三种工作模式三.自动将数据迁移到新机器四.自定义分区分配和迁移五.增加复制因子六.在数据迁移 ...

kafka 集群服役新节点

前言

环境准备

kafka集群搭建

kafka 集群服役新节点相关推荐

最新文章

热门文章