kafka之五：如何手动更新Kafka中某个Topic的偏移量

本文介绍如何手动跟新zookeeper中的偏移量。我们在使用kafka的过程中，有时候需要通过修改偏移量来进行重新消费。我们都知道offsets是记录在zookeeper中的，所以我们想修改offsets的值只要修改zookeeper中的offsets值就可以了。修改offsets值有几种方法，这里介绍最直接的一种修改方法，就是直接手动修改zookeeper中记录的offsets值。

首先进入zk客户端

zkCli.sh -server localhost：2181

Offsets值记录在zk客户端具体的路径为

/consumers/[groupId]/offsets/[topic]/[partitionId]

比如查看test3主题0分区下的offsets

[zk: localhost:42182(CONNECTED) 22] get /consumers/group1/offsets/test3/0

Offsets=215161

然后修改你想要修改的哪个topic下的哪个partition的offsets就可以了。

修改test3主题0分区下的offsets值为100

这样就修改了Offsets

我们再用上诉命令查看一下Offsets

查看test3主题0分区下的offsets

[zk: localhost:42182(CONNECTED) 22] get /consumers/group1/offsets/test3/0

Offsets=100

修改完大家再重新消费一下就会发现已经可以消费出以前的数据了。

kafka之五：如何手动更新Kafka中某个Topic的偏移量相关推荐

如何手动更新Kafka中某个Topic的偏移量
转载: https://blog.csdn.net/xiaoyu_bd/article/details/52319302 我们在使用consumer消费数据时,有些情况下我们需要对已经消费过的数据进行 ...
springboot手动提交kafka offset
转载自 springboot手动提交kafka offset enable.auto.commit参数设置成了false 但是测试发现enable.auto.commit参数设置成了false,kaf ...
sparkstreaming 读取mysql_第十篇|SparkStreaming手动维护Kafka Offset的几种方式
Spark Streaming No Receivers 方式的createDirectStream 方法不使用接收器,而是创建输入流直接从Kafka 集群节点拉取消息.输入流保证每个消息从Kafka ...
Kafka：Consumer手动提交offset
在上一篇博客中介绍了使用Consumer订阅多个Topic或者多个Partition: Kafka:Consumer订阅在上一篇博客的测试样例中,Consumer都是自动提交offset,这是通过下 ...
SparkStreaming手动维护Kafka Offset的几种方式
Spark Streaming No Receivers 方式的createDirectStream 方法不使用接收器,而是创建输入流直接从Kafka 集群节点拉取消息.输入流保证每个消息从Kafka ...
8.解析Kafka中的 Topic 和 Partition
目录 1.什么是Topic 2.什么是Partition 3.Consumer Group 消费者组 4.Topic 和 Partition 的存储 5.producer消息分发策略 6.消费者如何消 ...
解析Kafka中的 Topic 和 Partition
topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据 1.什么是Topic ...
Kafka(Go)教程(十二)---Kafka 中的高水位和 Leader Epoch 机制
来自:指月 https://www.lixueduan.com 原文:https://www.lixueduan.com/post/kafka/12-hw-leader-epoch/ 本文解释了 Ka ...
This will have no impact if delete.topic.enable is not set to true以及删除kafka中的topic
$KAFKA/config/server.properties中 delete.topic.enble=true 然后删除topic $ ./kafka-topics.sh --zookeeper D ...

kafka之五：如何手动更新Kafka中某个Topic的偏移量

kafka之五：如何手动更新Kafka中某个Topic的偏移量相关推荐

最新文章

热门文章