删除kafka topic

1、因为项目原因，kakfa通道中经常造成数据阻塞，导致kafka通道中数据量过大，因此我需要将kakfa通道中数据清除（个人项目原因，一直使用一个消费者，只要保证当前消费者不在消费之前很久的数据就可以。因数量过大，造成topic阻塞，消费者消费太慢，还有可能造成重复消费问题）。下面将介绍删除topic中数据或者日志数据的方法。

A: 第一种方法就是

1):停掉kafka进程

2):删除kafka的日志数据，删除topic

3);将zookeeper中的offset偏移量修改

或者直接将topic删除掉

4);重启kafka进程或者重建kafka通道

这是比较保险也适用于大多数的情况

B: 如果我的需求只是让当前消费者不在消费之前的阻塞数据，那么可以用下面的方法来实现

1)：停掉kafka进程，将kafka的server.properties中的log.retention.hours=1/60; 将日志数据保留1分钟

或者

在不用停掉kafka进程的情况下执行：

kafka-configs.sh –zookeeper localhost:2181 –entity-type topics –entity-name test –alter –add-config retention.ms=10000
直接执行当前命令，可以在不停掉kafka进程的情况下，将日志数据保留时间修改成1000毫秒（注意：这里的设置的是毫秒）

这样就可以保证当前消费者不会再消费阻塞的数据了。

以上两种方式，都要保证没有向通道中进行生产的数据的生产者
---------------------
作者：nicodeme
来源：CSDN
原文：https://blog.csdn.net/nicodeme/article/details/81950455
版权声明：本文为博主原创文章，转载请附上博文链接！

转载于:https://www.cnblogs.com/vana/p/10201298.html

删除kafka topic相关推荐

【Kafka】Kafka如何彻底删除Kafka中的topic
本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载. 文章目录 1.概述 2.方法一(配置delete.topic.enable=true) 3.方法二(没有 ...
kafka删除指定topic，zookeeper： Command not found: Command not found rmr。
在学习卡夫卡kafka需要删除指定topic的时候,我进入zookeeper客户端,输入 rmr 命令显示: zookeeper新版本剔除了 rmr 命令,使用 deleteall 代替即可. 如需删 ...
Java程序创建Kafka Topic，以及数据生产消费，常用的命令
转自: Java程序创建Kafka Topic,以及数据生产消费,常用的命令_Zyy_z_的博客-CSDN博客_java kafka创建topicKafka简介: Kafka是一个分布式发布--订阅消 ...
Kafka 集群扩容、分区重新分配、SparkStreaming自适应上游kafka topic partition数目变化
一.扩容场景了解了数据迁移,我们来看下哪些场景需要进行扩容,然后有哪些方法可以实现快速扩容的效果.通常有如下两种需要紧急扩容的场景: 集群所有节点负载都高,需要快速扩容. 集群内某几台节点负载很高, ...
Kafka topic分区增加副本
Kafka中topic的每个分区可以设置多个副本.如果副本数为1,当该分区副本的leader节点宕机后,会导致该分区不可用.故需要设置多副本来保证可用性. 实际项目中,存在项目初期创建了副本数为1的t ...
如何删除kafka主题数据
本文我们探讨几种关于如何删除kafka主题数据的策略. 场景分析在进入主题之前,先讨论下需要删除kafka主题数据的应用场景. 场景介绍 kafka消息在过了保留周期之后会被自动清除.但总有一些情况 ...
Kafka系列之：不重启kafka集群设置kafka topic数据保留时间
Kafka系列之:不重启kafka集群设置kafka topic数据保留时间一.kafka topic数据保留3天的bash命令二.查看kafka删除数据日志三.批量设置上千个topic保留3天 ...
kafka topic制定规则
kafka topic的制定,我们要考虑的问题有很多,比如生产环境中用几备份.partition数目多少合适.用几台机器支撑数据量,这些方面如何去考量?笔者根据实际的维护经验,写一些思考,希望大家指正 ...
Kafka—topic的查询和创建
记录常用的kafka常用的topic相关命令查看topic列表 [root@shtest01 ~]# /usr/lib/kafka/bin/./kafka-topics.sh --list --zo ...

删除kafka topic

删除kafka topic相关推荐

最新文章

热门文章