kafka彻底删除topic

今天发现一个线上kafka(版本为0.8.2.2)多天前已不再消费的topic标记为删除(marked for deletion)，而我们每天有定时删除topic的shell脚本，会把无用的topic干掉，但发现这些topic只是被标记为删除，而并没有真正删除，其server.properties的相关配置如下:
delete.topic.enable=true
log.retention.hours=72
既然自动删除没起作用（后来探查到原因是我们的监控服务还在访问这个topic），那就手动删除

要彻底把topic删除需要把kafka中与该topic相关的本地数据目录及zookeeper与该topic相关的路径删除。kafka的zookeeper root为/kafka，比如要删除topic为${topic_name}

1.删除kafka相关的数据目录
首先查看数据目录在server.properties配置如下: log.dirs=/data1/kafka_logs

执行 rm -r /data1/kafka_logs/${topic_name}*

2.删除kafka topic
${KAFKA_HOME}/bin/kafka-topics.sh --delete --zookeeper ${ZOOKEEPER_HOST}:2181/kafka --topic ${topic_name}

3.删除zookeeper相关的路径
进入${ZOOKEEPER_HOME}/bin/zkCli.sh
执行下面的命令
rmr /kafka/consumers/${topic_name}-group rmr /kafka/config/topics/${topic_name} rmr /kafka/brokers/topics/${topic_name} rmr /kafka/admin/delete_topics/${topic_name}

4.用下面命令查看相关的topic还在不在：
${KAFKA_HOME}/bin/kafka-topics.sh --list --zookeeper ${ZOOKEEPER_HOST}:2181/kafka --topic ${topic_name}

如果仍然删除不了的话，需要检查kafka数据目录中的recovery-point-offset-checkpoint和replication-offset-checkpoint文件里是否有该topic的信息

转载于:https://www.cnblogs.com/dailidong/p/7571083.html

kafka彻底删除topic相关推荐

kafka彻底删除topic(cleanup policy)、清除特定topic数据
一.彻底不需要该topic了假设topic为test-0921 步骤如下: ①$KAFKA/bin/kafka-topics.sh --delete --zookeeper Desktop:2181 ...
kafka删除topic
删除已经创建的topic 删除toipc主要使用:kafka-topics --delete --zookeeper zkip:zkport --topic topicname命令删除:但是如果 ...
使用Java API创建（create），查看（describe），列举（list），删除（delete）Kafka主题（Topic）--转载...
原文:http://blog.csdn.net/changong28/article/details/39325079 使用Kafka的同学都知道,我们每次创建Kafka主题(Topic)的时候可以指 ...
kafka如何彻底删除topic及数据
前言: 删除kafka topic及其数据,严格来说并不是很难的操作.但是,往往给kafka 使用者带来诸多问题.项目组之前接触过多个开发者,发现都会偶然出现无法彻底删除kafka的情况.本文总结多个 ...
This will have no impact if delete.topic.enable is not set to true以及删除kafka中的topic
$KAFKA/config/server.properties中 delete.topic.enble=true 然后删除topic $ ./kafka-topics.sh --zookeeper D ...
CDH6 kafka如何彻底删除topic及数据
标题CDH6 kafka如何彻底删除topic及数据删除kafka topic及其数据,发现都会偶然出现无法彻底删除kafka的情况.本人亲测并总结了以下流程. 第一步: 设置 auto.creat ...
60-30-012-使用-Kafka不停机删除topic数据（自动建立topic）md
1.视界 2.背景一次客户有这么一个需求 kafka在不停机的情况下如何清理掉 kafka中的topic数据? 3.第一种测试直接删除log日志为了验证我本地测试. 启动kafka (base ...
【Kafka】Kafka如何彻底删除Kafka中的topic
本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载. 文章目录 1.概述 2.方法一(配置delete.topic.enable=true) 3.方法二(没有 ...
kafka删除topic及其相关数据
1.删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 2.Kafka 删除topic ...

kafka彻底删除topic

kafka彻底删除topic相关推荐

最新文章

热门文章