做性能测试时,kafka消息队列比较长,让程序自己消费完毕需要等待很长时间。就需要快速清理kafka队列

清理方式把 这kafak manager + zookeeper + kafka 这些应用情况,复制成一个备份文件夹。当需要清理时,把在使用的kafka +zookeeper  文件夹删除,在从备份文件还原回去。

这样就作成几个脚本

1、清理环境clen_envionment.sh, 这个只执行一次,需要把 kafka 和zookeeper的路径填写正确。如果存在备份文件就不需要执行这个脚本,

#要先导出kafka topic
#========zookeeper
#stop zookeeper
/app/zookeeper/bin/zkServer.sh stop;
ps -ef|grep zookeeper |grep -v grep|awk '{print $2}'|xargs kill -9;
ps -aef |grep zookeeper;#clean zookeeper data
ls -l /app/zookeeper/data/version-2/;
rm -rf /app/zookeeper/data/version-2/;
rm -rf /app/zookeeper/logs/*;
rm -rf /app/zookeeper_backup;
rm -rf /app/zookeeper_org;
sleep 5;
#backup zookeeper file
cp -rp /app/zookeeper/ /app/zookeeper_backup;
cp -rp /app/zookeeper/ /app/zookeeper_org;
ps -aef |grep zookeeper;# stop kafka
/app/kafka_cluster/bin/kafka-server-stop.sh ;
# 如果还存在,继续杀死
ps -ef|grep kafka_cluster |grep -v grep|awk '{print $2}'|xargs kill -9;
ps -aef |grep kafka_cluster;
#clean tow log folder
rm -rf /app/kafka_cluster/kafka-logs/*;
rm -rf /app/kafka_cluster/logs/*;
rm -rf /app/kafka_cluster_org/;
rm -rf /app/kafka_cluster_backup/;
sleep 5;
#backup kafka file
cp -rp /app/kafka_cluster/ /app/kafka_cluster_org/;
cp -rp /app/kafka_cluster/ /app/kafka_cluster_backup/;

 2、初始化zookeeper脚本

#!/bin/bash
echo "停止zookeeper服务......"
/app/zookeeper/bin/zkServer.sh stop
sleep 3
echo "初始化zookeeper安装目录......"
rm -rf /app/zookeeper
cp -rp /app/zookeeper_backup /app/zookeeper
echo "启动zookeeper服务......"
/app/zookeeper/bin/zkServer.sh start
result=`ps -ef|grep "/app/zookeeper/"|grep -v grep|awk '{print $2}'`
echo -e "\033[42;30m zookeeper服务的进程号为----$result \033[0m"

  3、初始化kafka脚本

#!/bin/bash
kafka_cluster="kafka_cluster"
kafka_path="/app/"$kafka_cluster
kafka_backup_path="/app/"$kafka_cluster"_backup"
echo "停止kafka服务....."
$kafka_path/bin/kafka-server-stop.sh
sleep 10
ps -ef|grep $kafka_cluster |grep -v grep|awk '{print $2}'|xargs kill -9
#删除还原kafak
if [[ -d $kafka_backup_path && ${#kafka_path} -ge 8 ]];thenecho "kafka_backup_path  dir is exsit...."echo "the kafka folder is :$kafka_path , deleting $kafka_path"#rm -rf $KAFKA_PATHecho "the kafka backup folder is :$kafka_backup_path , copying file from  $kafka_backup_path to $kafka_path"#cp -rp $KAFKA_BAKE_PATH  $KAFKA_PATHsleep 20
elseecho "kafka_backup_path : $kafka_backup_path is not exist , exit process..."exit 1
fiecho "准备启动kafka服务......"
$kafka_path/bin/kafka-server-start.sh -daemon $kafka_path/config/server.properties
result=`ps -ef|grep $kafka_cluster|grep -v grep|awk '{print $2}'`
echo -e "\033[42;30m kafka服务的进程号为----$result \033[0m"

4、创建topic脚本

#!/bin/bash
topic_file="/home/root/topics.txt"
ZK_DIR="192.168.53.125:2181,192.168.53.126:2181,192.168.53.127:2181"
CMD="/app/kafka_cluster/bin/kafka-topics.sh"for line in `cat $topic_file`
do$CMD --create --zookeeper $ZK_DIR --replication-facto 3 --partitions 8 --topic $line
done

topic文件如下

[root@fkafka-01:/home/root]$cat topics.txt
test1
test2

 

 如果需要清理 ,执行如下顺序步骤

停止kafka-manager > 停止/启动zookeeper > 停止/启动 kafka > 启动kafka-manager >启动kafka manager

#停止kafka

ps -ef|grep manager |grep -v grep|awk '{print $2}'|xargs kill -9
cd

#恢复zookeeper 并启动
./init_zk.sh

#恢复kafka 并启动
cd /app/kafka-manager-1.3.0.7/

#kafka manager启动
rm RUNNING_PID
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9000 &

#创建topic

./create-topics.sh

kafak manager + zookeeper + kafka 消费队列快速清除相关推荐

  1. Kafka消息队列学习笔记1——Kafka入门1

    目录 1.消息队列 1.1.传统消息队列的应用场景 2.1.1.异步处理 1.1.2.系统解耦 1.1.3.流量削峰 1.1.4.日志处理 1.2.生产者-消费者模型 1.3.消息队列的两种模式 1. ...

  2. zookeeper + kafka集群搭建详解

    文章目录 一.消息队列介绍 1.1 为什么需要消息队列 (MO) 1.2 使用消息队列的好处 (1)解耦 (2)可恢复性 (3)缓冲 (4)灵活性 & 峰值处理能力 (5)异步通信很多时候,用 ...

  3. 19 kafka消息队列

    文章目录 19 kafka消息队列 一.kafka介绍 1.消息队列基本介绍 2.常用的消息队列介绍 3.消息队列的应用场景 4.消息队列的两种模式 5.kafka的基本介绍 6.kafka的架构介绍 ...

  4. Kafka—消息队列

    Kafka-消息队列(理论部分) 一.Kafka概述 1.1.简介 kafka是一个分布式的基于发布/订阅模式的消息队列 主要应用场景:大数据实时处理领域 1.2.什么是消息队列? 消息队列 = 消息 ...

  5. Kafka消息队列组件简介

    Kafka消息队列组件简介 消息队列的工作模式 消息队列的优点 Kafka架构 生产者写入流程 消费者组 消息队列的工作模式 点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 点对点模型通 ...

  6. Kafka消息队列的搭建与基础使用

    一.Kafka消息队列 1.为什么需要消息队列? 解耦 冗余 扩展性 灵活性 & 峰值处理能力 可恢复性 顺序保证 缓冲 异步通信 2.消息队列的模式 1.点对点模式 一对一,消费者主动拉取数 ...

  7. C#使用kafka消息队列

    一:kafka介绍 kafka(官网地址:http://kafka.apache.org)是一种高吞吐量的分布式发布订阅的消息队列系统,具有高性能和高吞吐率. 1.1 术语介绍 Broker Kafk ...

  8. kafka消息队列系统

    学习目标: 掌握kafka消息队列 学习内容: 概述 数据缓冲队列,同时提高可扩展性,具有峰值处理能力,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷请求而完成崩溃 kafka是 ...

  9. kafka消息队列的概念理解

    kafka在大数据.分布式架构中都很流行.kafka可以进行流式计算,也可以做为日志系统,还可以用于消息队列. kafka作为消息队列的优点: 分布式的系统 高吞吐量.即使存储了许多TB的消息,它也保 ...

最新文章

  1. Ubuntu 设置Android adb 环境变量
  2. IOS开发之NSObject协议类方法说明
  3. 【深度学习】6万字解决算法面试中的深度学习基础问题
  4. Storage API简介和存储限制与逐出策略
  5. codeforces gym-101741 Subsequence Sum Queries 分治+离线
  6. Java Double类parseDouble()方法的示例
  7. 华为手机记事本导出_深夜浅谈怎样用一部手机做电影解说?
  8. 以史为鉴 | 为什么要将「知识图谱」追溯到1956年?
  9. inflate简介,LayoutInflater和inflate()方法的用法
  10. 一个ALV(OO)的实例
  11. 小米12系列首发!高通骁龙898有望11月30日亮相
  12. java和c语言的区别_C语言为何不会过时?你需要掌握多少种语言?
  13. (九)OpenCV Canny边缘检测
  14. 计算两个经纬度之间的距离
  15. Firefox中强制复制粘贴的插件
  16. c#代码转python代码工具_C# 代码转换到Python
  17. Java调用ApacheOpenOffice将Word转PDF
  18. 【寻找最佳小程序】13期:心算练习——寓教于乐,练就小朋友强大的算术能力...
  19. 给虚拟机下载安装jdk,hadoop等(非常详细的步骤)
  20. 神经元细胞结构刨析(持续更新)

热门文章

  1. Android学习——Fragment动态加载
  2. Linux之|etc|group文件
  3. 我的“技术架构”之旅
  4. iOS:ASIHttpRequest虽不更新,但仍值得详细了解
  5. 为什么实验是领英 DNA 的核心部分?
  6. 2016/03/30
  7. AngularJs学习日记[8]:$http
  8. ubuntu good 便签
  9. CodeDom六--实体类生成示例
  10. 采用docker安装部署Nginx