一、彻底不需要该topic了

假设topic为test-0921

步骤如下:

①$KAFKA/bin/kafka-topics.sh --delete --zookeeper Desktop:2181 --topic test-0921被标记为marked for deletion的topic你可以在zookeeper客户端中通过命令获得：ls /admin/delete_topics/{topic name}，如果你删除了此处的topic，那么marked for deletion 标记消失[1]
②$ZOOKEEPER/bin/zkCli.sh -server Desktop:2181

delete /config/topics/kafka_ddl
deleteall /config/topics/kafka_ddl
deleteall /brokers/topics/kafka_ddl
deleteall /consumers/【consumer-group】

二、依然需要该topic,只是想清空数据

此时需要清空策略(cleanup policy)

①基于时间的清空策略

作用	具体命令行	备注
删除topic数据	$KAFKA/bin/kafka-topics.sh --delete --topic timeIntervalJoin_02 --bootstrap-server Desktop:9091	没删除干净，仅仅是 marked for deletion
查看某个topic的清空策略	$KAFKA/bin/kafka-configs.sh --bootstrap-server Desktop:9091 --describe --entity-type topics --entity-name timeIntervalJoin_02	无
删除某个topic的清空策略	$KAFKA/bin/kafka-configs.sh --bootstrap-server Desktop:9091 --entity-type topics --entity-name timeIntervalJoin_02 --alter --delete-config retention.ms	Invalid config(s): retention.ms 如果出现这个，是因为当前topic已经复原为默认的全局清空策略
通过设置保留时间来清除某个topic中的数据 (类似mysql中的truncate）	$KAFKA/bin/kafka-configs.sh --bootstrap-server Desktop:9091 --entity-type topics --alter --add-config retention.ms=1 --entity-name timeIntervalJoin_01 日常工作本命令优先使用	策略设置后，会覆盖server.properties中的全局清空策略log.retention.hours设置的值没有通过该命令设置策略的topic会默认采用全局清空策略

timeIntervalJoin_02是具体topic

②基于日志大小

(暂时略过)

③基于日志起始偏移量

(暂时略过)

Reference:

[1]如何彻底删除Kafka中的topic (marked for deletion)

[2]Kafka日志清理之Log Deletion

[3]Log Cleanup Policies (Strategies) — Log Compaction And Retention

[4]kafka删除topic数据

kafka彻底删除topic(cleanup policy)、清除特定topic数据相关推荐

kafka消息过期时间设置（全局和特定topic）
文章目录一.kafka 全局消息过期时间设置 1. 配置文件夹 2. 修改配置 3. 重启配置生效二.针对特定topic设置过期时间 2.1. 配置文件夹 2.2. 执行设置命令三.kafka过 ...
使用Python批量删除windows下特定目录的N天前的旧文件实战：Windows下批量删除旧文件、清除缓存文件、解救C盘、拒绝C盘爆炸
使用Python批量删除windows下特定目录的N天前的旧文件实战:Windows下批量删除旧文件.清除缓存文件.解救C盘.拒绝C盘爆炸目录
Windows下批量删除旧文件、清除缓存文件、解救C盘、拒绝C盘爆炸
Windows下批量删除旧文件.清除缓存文件.解救C盘.拒绝C盘爆炸目录 Windows下批量删除旧文件.清除缓存文件.解救C盘.拒绝C盘爆炸 #删除旧文件1 #删除旧文件2 #删除旧文件1 rem ...
Chrome浏览器中清除特定网站的Cookie数据
背景:当我们在网站上遇到错误时,经常会用到的一个方法就是清除Cookie,清除网站的Cookie和网站数据来重置本地的缓存,很多客户端引起的错误都可以使用该方法修复, 但是在清除Cookie时有一个问 ...
kafka消息删除机制
kafka过期消息删除过程: 有时候总觉得我的消息没到7天就被删除了,我还以为是我的kafka配置没有生效,了解到 kafka删除机制后才恍然大悟 kafka消息首先由用户设定一个或多个partiti ...
pandas删除数据行中的重复数据行、基于dataframe所有列删除重复行、基于特定数据列或者列的作何删除重复行、删除重复行并保留重复行中的最后一行、pandas删除所有重复行（不进行数据保留）
pandas删除数据行中的重复数据行.基于dataframe所有列删除重复行.基于特定数据列或者列的作何删除重复行.删除重复行并保留重复行中的最后一行.pandas删除所有重复行(不进行数据保留) 目 ...
python openpyxl删除excel特定行数据遇到的问题
python openpyxl删除excel特定行数据遇到的问题 for row in sheet_codereview.rows:for cell in row:print(cell.row,cel ...
Chrome 清除特定网站的 cookie
清除全部网站的 cookie 比较简单,但副作用也大,好些自动登陆的.自动填表的都丢失了.如果只是清除特定网站的 cookie,在 Chrome 里的操作其实挺麻烦,因为这个配置隐藏太深了! 没法,有 ...
kafka完美解决报错:Error while executing topic command:Replication factor:3 larger than available brokers:0
kafka完美解决报错:Error while executing topic command:Replication factor:3 larger than available brokers:0 ...

kafka彻底删除topic(cleanup policy)、清除特定topic数据

一、彻底不需要该topic了

二、依然需要该topic,只是想清空数据

kafka彻底删除topic(cleanup policy)、清除特定topic数据相关推荐

最新文章

热门文章