kafka彻底删除topic清理数据

原因

有研发同事反馈，kafka集群无法消费了，经查看日志，发现数据磁盘占用100%，修改kafka参数（后续详细说明），删除kafka日志，仍无法启动，经与研发同事商量可以删除topic。

过程

1.与业务同事确定kafka数据保存时间，确定每个分片保存大小，涉及参数：

参数名	参数含义	默认值	此处配置
log.retention.hours	日志保存的时间，可以选择hours,minutes和ms	168(7day)	12
log.retention.bytes	删除前日志文件允许保存的最大值	-1	5368709120

参数说明：

log.retention.bytes，从网上查看和问同事都说是每台机器限制日志的大小，但是根据反复配置发现，log.retention.bytes可能和每个分片的大小有关，磁盘大小是558G ，根据0.8原则，我配置log.retention.bytes=429496729600（400G）log.retention.hours=12 ，经过一天还是满了，后来把log.retention.bytes改成了5368709120（5G）就莫名的好了，如有不同见解，欢迎指正。

相关参数配置：

log.retention.hours=12（修改）

log.retention.bytes=5368709120（新增）

2.此步骤很重要

如果要删除的topic正在被消费或者生产，那么相关程序需要暂停，否则topic无法被删除，而且使用kafka --delete的时候也不报错，会让人误以为被删除了，但是等删除完，查看list的时候，发现topic还在，涉及参数

参数名	参数含义	默认值	此处配置
auto.create.topics.enable	是否允许自动创建topic	true	false
delete.topic.enable	是否物理删除topic	false	true

参数说明：

只有这两个参数一起配置时，才能达到预想中删除topic的目的。

相关参数配置：

auto.create.topics.enable=false（新增）

delete.topic.enable=true（新增）

3.停止kafka，删除topic的相关数据目录，涉及命令：

sh bin/kafka-server-stop.sh（停止kafka进程）

rm -rf kafka-logs/topic*（删除topic的数据目录）

4..删除kafka使用的zookeeper中该topic的信息，涉及命令：

sh bin/zkCli.sh -server zookeeperip:port（通过客户端进入zookeeper）

ls /brokers/topics/topic（确定要删除的topic的目录）

rmr /brokers/topics/topic（删除的topic的目录）

ps:若删除所有topic，直接删除zookeeper配置data中version-2的目录，重启zookeeper即可。

5.重新启动kafka，涉及命令：

nohup bin/kafka-server-start.sh config/server.properties &（启动kafka）

6.完成之后，重建topic即可。

沉淀

1.部署kafka之前确认每一台的数据盘挂在情况；

2.相关参数部署之前确认好

3.若数据盘满了，可以在确定topic包含2个及以上副本的前提下，删除每台服务器上的不同的副本，优先保证kafka启动出发删除机制。

kafka彻底删除topic清理数据相关推荐

CDH6 kafka如何彻底删除topic及数据
标题CDH6 kafka如何彻底删除topic及数据删除kafka topic及其数据,发现都会偶然出现无法彻底删除kafka的情况.本人亲测并总结了以下流程. 第一步: 设置 auto.creat ...
kafka彻底删除topic(cleanup policy)、清除特定topic数据
一.彻底不需要该topic了假设topic为test-0921 步骤如下: ①$KAFKA/bin/kafka-topics.sh --delete --zookeeper Desktop:2181 ...
kafka如何彻底删除topic及数据
前言: 删除kafka topic及其数据,严格来说并不是很难的操作.但是,往往给kafka 使用者带来诸多问题.项目组之前接触过多个开发者,发现都会偶然出现无法彻底删除kafka的情况.本文总结多个 ...
kafka彻底删除topic
今天发现一个线上kafka(版本为0.8.2.2)多天前已不再消费的topic标记为删除(marked for deletion),而我们每天有定时删除topic的shell脚本,会把无用的topic ...
Java kafka监控 topic的数据量count情况,每个topic的Summed Recent Offsets(总结最近的偏移量)
Java使用kafka的API来监控kafka的某些topic的数据量增量,offset,定时查总量之后,然后计算差值,然后就可以算单位间隔的每个topic的增量,kafka监控一般都是监控的吞吐量, ...
java查看kafka数据量_Java kafka监控 topic的数据量count情况,每个topic的offset，
Java使用kafka的API来监控kafka的某些topic的数据量增量,offset,定时查总量之后,然后计算差值,然后就可以算单位间隔的每个topic的增量,kafka监控一般都是监控的吞吐量, ...
60-30-012-使用-Kafka不停机删除topic数据（自动建立topic）md
1.视界 2.背景一次客户有这么一个需求 kafka在不停机的情况下如何清理掉 kafka中的topic数据? 3.第一种测试直接删除log日志为了验证我本地测试. 启动kafka (base ...
kafka删除topic及其相关数据
1.删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 2.Kafka 删除topic ...
kafka删除topic
删除已经创建的topic 删除toipc主要使用:kafka-topics --delete --zookeeper zkip:zkport --topic topicname命令删除:但是如果 ...
使用Java API创建（create），查看（describe），列举（list），删除（delete）Kafka主题（Topic）--转载...
原文:http://blog.csdn.net/changong28/article/details/39325079 使用Kafka的同学都知道,我们每次创建Kafka主题(Topic)的时候可以指 ...

kafka彻底删除topic清理数据

kafka彻底删除topic清理数据相关推荐

最新文章

热门文章