kafak manager + zookeeper + kafka 消费队列快速清除
做性能测试时,kafka消息队列比较长,让程序自己消费完毕需要等待很长时间。就需要快速清理kafka队列
清理方式把 这kafak manager + zookeeper + kafka 这些应用情况,复制成一个备份文件夹。当需要清理时,把在使用的kafka +zookeeper 文件夹删除,在从备份文件还原回去。
这样就作成几个脚本
1、清理环境clen_envionment.sh, 这个只执行一次,需要把 kafka 和zookeeper的路径填写正确。如果存在备份文件就不需要执行这个脚本,
#要先导出kafka topic #========zookeeper #stop zookeeper /app/zookeeper/bin/zkServer.sh stop; ps -ef|grep zookeeper |grep -v grep|awk '{print $2}'|xargs kill -9; ps -aef |grep zookeeper;#clean zookeeper data ls -l /app/zookeeper/data/version-2/; rm -rf /app/zookeeper/data/version-2/; rm -rf /app/zookeeper/logs/*; rm -rf /app/zookeeper_backup; rm -rf /app/zookeeper_org; sleep 5; #backup zookeeper file cp -rp /app/zookeeper/ /app/zookeeper_backup; cp -rp /app/zookeeper/ /app/zookeeper_org; ps -aef |grep zookeeper;# stop kafka /app/kafka_cluster/bin/kafka-server-stop.sh ; # 如果还存在,继续杀死 ps -ef|grep kafka_cluster |grep -v grep|awk '{print $2}'|xargs kill -9; ps -aef |grep kafka_cluster; #clean tow log folder rm -rf /app/kafka_cluster/kafka-logs/*; rm -rf /app/kafka_cluster/logs/*; rm -rf /app/kafka_cluster_org/; rm -rf /app/kafka_cluster_backup/; sleep 5; #backup kafka file cp -rp /app/kafka_cluster/ /app/kafka_cluster_org/; cp -rp /app/kafka_cluster/ /app/kafka_cluster_backup/;
2、初始化zookeeper脚本
#!/bin/bash echo "停止zookeeper服务......" /app/zookeeper/bin/zkServer.sh stop sleep 3 echo "初始化zookeeper安装目录......" rm -rf /app/zookeeper cp -rp /app/zookeeper_backup /app/zookeeper echo "启动zookeeper服务......" /app/zookeeper/bin/zkServer.sh start result=`ps -ef|grep "/app/zookeeper/"|grep -v grep|awk '{print $2}'` echo -e "\033[42;30m zookeeper服务的进程号为----$result \033[0m"
3、初始化kafka脚本
#!/bin/bash kafka_cluster="kafka_cluster" kafka_path="/app/"$kafka_cluster kafka_backup_path="/app/"$kafka_cluster"_backup" echo "停止kafka服务....." $kafka_path/bin/kafka-server-stop.sh sleep 10 ps -ef|grep $kafka_cluster |grep -v grep|awk '{print $2}'|xargs kill -9 #删除还原kafak if [[ -d $kafka_backup_path && ${#kafka_path} -ge 8 ]];thenecho "kafka_backup_path dir is exsit...."echo "the kafka folder is :$kafka_path , deleting $kafka_path"#rm -rf $KAFKA_PATHecho "the kafka backup folder is :$kafka_backup_path , copying file from $kafka_backup_path to $kafka_path"#cp -rp $KAFKA_BAKE_PATH $KAFKA_PATHsleep 20 elseecho "kafka_backup_path : $kafka_backup_path is not exist , exit process..."exit 1 fiecho "准备启动kafka服务......" $kafka_path/bin/kafka-server-start.sh -daemon $kafka_path/config/server.properties result=`ps -ef|grep $kafka_cluster|grep -v grep|awk '{print $2}'` echo -e "\033[42;30m kafka服务的进程号为----$result \033[0m"
4、创建topic脚本
#!/bin/bash topic_file="/home/root/topics.txt" ZK_DIR="192.168.53.125:2181,192.168.53.126:2181,192.168.53.127:2181" CMD="/app/kafka_cluster/bin/kafka-topics.sh"for line in `cat $topic_file` do$CMD --create --zookeeper $ZK_DIR --replication-facto 3 --partitions 8 --topic $line done
topic文件如下
[root@fkafka-01:/home/root]$cat topics.txt
test1
test2
如果需要清理 ,执行如下顺序步骤
停止kafka-manager > 停止/启动zookeeper > 停止/启动 kafka > 启动kafka-manager >启动kafka manager
#停止kafka
ps -ef|grep manager |grep -v grep|awk '{print $2}'|xargs kill -9
cd
#恢复zookeeper 并启动
./init_zk.sh
#恢复kafka 并启动
cd /app/kafka-manager-1.3.0.7/
#kafka manager启动
rm RUNNING_PID
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9000 &
#创建topic
./create-topics.sh
kafak manager + zookeeper + kafka 消费队列快速清除相关推荐
- Kafka消息队列学习笔记1——Kafka入门1
目录 1.消息队列 1.1.传统消息队列的应用场景 2.1.1.异步处理 1.1.2.系统解耦 1.1.3.流量削峰 1.1.4.日志处理 1.2.生产者-消费者模型 1.3.消息队列的两种模式 1. ...
- zookeeper + kafka集群搭建详解
文章目录 一.消息队列介绍 1.1 为什么需要消息队列 (MO) 1.2 使用消息队列的好处 (1)解耦 (2)可恢复性 (3)缓冲 (4)灵活性 & 峰值处理能力 (5)异步通信很多时候,用 ...
- 19 kafka消息队列
文章目录 19 kafka消息队列 一.kafka介绍 1.消息队列基本介绍 2.常用的消息队列介绍 3.消息队列的应用场景 4.消息队列的两种模式 5.kafka的基本介绍 6.kafka的架构介绍 ...
- Kafka—消息队列
Kafka-消息队列(理论部分) 一.Kafka概述 1.1.简介 kafka是一个分布式的基于发布/订阅模式的消息队列 主要应用场景:大数据实时处理领域 1.2.什么是消息队列? 消息队列 = 消息 ...
- Kafka消息队列组件简介
Kafka消息队列组件简介 消息队列的工作模式 消息队列的优点 Kafka架构 生产者写入流程 消费者组 消息队列的工作模式 点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 点对点模型通 ...
- Kafka消息队列的搭建与基础使用
一.Kafka消息队列 1.为什么需要消息队列? 解耦 冗余 扩展性 灵活性 & 峰值处理能力 可恢复性 顺序保证 缓冲 异步通信 2.消息队列的模式 1.点对点模式 一对一,消费者主动拉取数 ...
- C#使用kafka消息队列
一:kafka介绍 kafka(官网地址:http://kafka.apache.org)是一种高吞吐量的分布式发布订阅的消息队列系统,具有高性能和高吞吐率. 1.1 术语介绍 Broker Kafk ...
- kafka消息队列系统
学习目标: 掌握kafka消息队列 学习内容: 概述 数据缓冲队列,同时提高可扩展性,具有峰值处理能力,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷请求而完成崩溃 kafka是 ...
- kafka消息队列的概念理解
kafka在大数据.分布式架构中都很流行.kafka可以进行流式计算,也可以做为日志系统,还可以用于消息队列. kafka作为消息队列的优点: 分布式的系统 高吞吐量.即使存储了许多TB的消息,它也保 ...
最新文章
- Ubuntu 设置Android adb 环境变量
- IOS开发之NSObject协议类方法说明
- 【深度学习】6万字解决算法面试中的深度学习基础问题
- Storage API简介和存储限制与逐出策略
- codeforces gym-101741 Subsequence Sum Queries 分治+离线
- Java Double类parseDouble()方法的示例
- 华为手机记事本导出_深夜浅谈怎样用一部手机做电影解说?
- 以史为鉴 | 为什么要将「知识图谱」追溯到1956年?
- inflate简介,LayoutInflater和inflate()方法的用法
- 一个ALV(OO)的实例
- 小米12系列首发!高通骁龙898有望11月30日亮相
- java和c语言的区别_C语言为何不会过时?你需要掌握多少种语言?
- (九)OpenCV Canny边缘检测
- 计算两个经纬度之间的距离
- Firefox中强制复制粘贴的插件
- c#代码转python代码工具_C# 代码转换到Python
- Java调用ApacheOpenOffice将Word转PDF
- 【寻找最佳小程序】13期:心算练习——寓教于乐,练就小朋友强大的算术能力...
- 给虚拟机下载安装jdk,hadoop等(非常详细的步骤)
- 神经元细胞结构刨析(持续更新)