如何手动更新Kafka中某个Topic的偏移量

转载：

https://blog.csdn.net/xiaoyu_bd/article/details/52319302

我们在使用consumer消费数据时，有些情况下我们需要对已经消费过的数据进行重新消费，这里介绍kafka中两种重新消费数据的方法。

1. 修改offset

我们在使用consumer消费的时候，每个topic会产生一个偏移量，这个偏移量保证我们消费的消息顺序且不重复。Offest是在zookeeper中存储的，我们可以设置consumer实时或定时的注册offest到zookeeper中。我们修改这个offest到我们想重新消费的位置，就可以做到重新消费了。具体修改offest的方法这里就不详细介绍了，点击：https://blog.csdn.net/xiaoyu_bd/article/details/52390175

2. 通过使用不同的group来消费

通过不同的group来重新消费数据方法简单，但我们无法指定我们要重复消费哪些数据，它会从这个groupid在zookeeper注册之后所产生的数据开始消费。这里需要注意的是新的group是重新消费所有数据，但也并非是topic中所有数据，它只会消费它在zookeeper注册过之后产生的数据。我们可以再zookeeper客户端中 /consumer/ 目录下查看我们已经注册过的groupid。我们在使用consumer消费数据时如果指定一个新的groupid，那么当这个consumer被执行的时候会自动注册到zookeeper中。而这个group中的consumer之后消费到注册之后产生的数据。

关于如何删除在zookeeper中注册的groupid，点击这里。

如何手动更新Kafka中某个Topic的偏移量相关推荐

kafka之五：如何手动更新Kafka中某个Topic的偏移量
本文介绍如何手动跟新zookeeper中的偏移量.我们在使用kafka的过程中,有时候需要通过修改偏移量来进行重新消费.我们都知道offsets是记录在zookeeper中的,所以我们想修改offse ...
8.解析Kafka中的 Topic 和 Partition
目录 1.什么是Topic 2.什么是Partition 3.Consumer Group 消费者组 4.Topic 和 Partition 的存储 5.producer消息分发策略 6.消费者如何消 ...
解析Kafka中的 Topic 和 Partition
topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据 1.什么是Topic ...
This will have no impact if delete.topic.enable is not set to true以及删除kafka中的topic
$KAFKA/config/server.properties中 delete.topic.enble=true 然后删除topic $ ./kafka-topics.sh --zookeeper D ...
【Kafka】Kafka如何彻底删除Kafka中的topic
本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载. 文章目录 1.概述 2.方法一(配置delete.topic.enable=true) 3.方法二(没有 ...
kafka彻底删除topic(cleanup policy)、清除特定topic数据
一.彻底不需要该topic了假设topic为test-0921 步骤如下: ①$KAFKA/bin/kafka-topics.sh --delete --zookeeper Desktop:2181 ...
转载-zookeeper在kafka中的作用
2019独角兽企业重金招聘Python工程师标准>>> 1)Broker注册 Broker在zookeeper中保存为一个临时节点,节点的路径是/brokers/ids/[broke ...
kafka删除指定topic，zookeeper： Command not found: Command not found rmr。
在学习卡夫卡kafka需要删除指定topic的时候,我进入zookeeper客户端,输入 rmr 命令显示: zookeeper新版本剔除了 rmr 命令,使用 deleteall 代替即可. 如需删 ...
kafka中topic默认属性_分享：Kafka 的 Lag 计算误区及正确实现
前言消息堆积是消息中间件的一大特色,消息中间件的流量削峰.冗余存储等功能正是得益于消息中间件的消息堆积能力.然而消息堆积其实是一把亦正亦邪的双刃剑,如果应用场合不恰当反而会对上下游的业务造成不必要的 ...

如何手动更新Kafka中某个Topic的偏移量

如何手动更新Kafka中某个Topic的偏移量相关推荐

最新文章

热门文章