一、服役新节点

1. 新节点配置

基础配置

vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO=static
IPADDR=192.168.10.105
GATEWAY=192.168.10.2
DNS1=192.168.10.2

vim /etc/hostname

hadoop105

重启hadoop105
修改hadoop105中kafak的broker.id为3
删除hadoop105中kafka下的datas和logs
启动hadoop102、hadoop103、hadoop104上的kafka集群
单独启动hadoop105中的kafka

2. 执行负载均衡操作

创建一个要均衡的主题

vim topics-to-move.json

{"topics": [{"topic": "first"}],"version": 1
}

生成一个负载均衡的计划

bin/kafka-reassign-partitions.sh \
--bootstrap-server hadoop102:9092 \
--topics-to-move-json-file topics-to-move.json \
--broker-list "0,1,2,3" \
--generate

创建副本存储计划（所有副本存储在broker0、broker1、broker2、broker3中）

vim increase-replication-factor.json

就是上一步生成的内容

{"version":1,"partitions":[{"topic":"first","partition":0,"replic as":[2,3,0],"log_dirs":["any","any","any"]},{"topic":"first","partition":1,"replicas":[3,0,1],"log_dirs":["any","any","any"]},{"topic":"first","partition":2,"replicas":[0,1,2],"log_dirs":["any","any","any"]}]
}

执行副本存储计划

bin/kafka-reassign-partitions.sh \
--bootstrap-server hadoop102:9092 \
--reassignment-json-file increase-replication-factor.json \
--execute

验证副本存储计划

bin/kafka-reassign-partitions.hs \
--bootstrap-server hadoop102:9092 \
--reassignment-json-file increase-replication-factor.json \
--verify

二、退役旧节点

1. 执行负载均衡操作

先按照退役一台节点，生成执行计划，然后按照服役时操作流程执行负载均衡

创建一个要均衡的主题

vim topics-to-move.json

{"topics": [{"topic": "first"}],"version": 1
}

创建执行计划

bin/kafka-reassign-partitions.sh \
--bootstrap-server hadoop102:9092 \
--topics-to-move-json-file topics-to-move.json \
--broker-list "0,1,2" \
--generate

创建副本存储计划(所有副本存储在broker0、broker1、broker2中)

vim /increase-replication-factor.json

就是上一步生成的数据

{"version":1,"partitions":[{"topic":"first","partition":0,"replic as":[2,0,1],"log_dirs":["any","any","any"]},{"topic":"first","partition":1,"replicas":[0,1,2],"log_dirs":["any","any","any"]},{"topic":"first","partition":2,"replicas":[1,2,0],"log_dirs":["any","any","any"]}]
}

执行副本存储计划

bin/kafak-reassign-partitions.sh \
--bootstrap-server hadoop102:9092 \
--reassignment-json-file increase-replication-factor.json \
--execute

验证副本存储计划

bin/kafka-reassign-partitions.sh \
--bootstrap-server hadoop102:9092 \
--reassignment-json-file increase-replication-factor.json \
--verify

执行停止命令

# 在hadoop105上执行停止命令即可
bin/kafka-server-stop.sh

Kafka节点服役和退役相关推荐

kafka节点的服役和退役
kafka节点的服役和退役假设集群只有hadoop102.hadoop103.hadoop104中有kafka的节点,现在需要在hadoop105中新增一个节点,并且需要将部分主题的数据迁移到新增的 ...
DataNode新节点服役与旧节点退役
大数据相关博客的目录在阅读此篇之前,应当先阅读基于CentOS7镜像和数据挂载卷实现Docker搭建Hadoop集群服役与退役 Hadoop集群中管理员经常需要向集群中添加节点,或从集群中移除节点 ...
Kafka精华问答 | kafka节点之间如何备份？
戳蓝字"CSDN云计算"关注我们哦! Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.作为一种高吞吐量的分布式发布订阅消息系统,有着诸多特 ...
Kafka节点扩容、缩容后reassign partition
文章目录简介 kafka-reassign-partitions使用简介 kafka节点扩容.缩容后,需要reassign partition replica, kafka-reassign-pa ...
Kafka系列之：增加Kafka节点扩展Kafka集群
Kafka系列之:增加Kafka节点扩展Kafka集群一.增加Kafka节点二.分区重新分配工具三种工作模式三.自动将数据迁移到新机器四.自定义分区分配和迁移五.增加复制因子六.在数据迁移 ...
Kafka Broker
文章目录 Kafka Broker Kafka Broker工作流程 Zookeeper存储的Kafka信息 Kafka Broker总体工作流程 Broker重要参数生产经验-节点服役和退役服役 ...
Kafka(生产者)
Kafka 1.概述 1.1 消息队列 1.1.1 传统消息队列的应用场景 1.1.2 消息队列的两种模式 1.2 kafka基础结构 2.kafka的快速入门 2.1 集群部署 2.1.1 安装ja ...
Kafka实战《原理2》
Kafka Broker 工作流程 Zookeeper存储的Kafka信息 Kafka Broker总体工作流程 Broker参数参数名称描述 replica.lag.time.max.ms IS ...
Hadoop一些常用的命令
1.Hadoop常用命令 hadoop verion //版本 hadoop fs //文件系统客户端. hadoop jar hadoop classpath //查看hadoop类路径 hadoo ...

Kafka节点服役和退役

一、服役新节点

1. 新节点配置

2. 执行负载均衡操作

二、退役旧节点

1. 执行负载均衡操作

Kafka节点服役和退役相关推荐

最新文章

热门文章