kafka重置到最新offset偏移量

小弟近日用kafka测试传输数据设置的单消费者，不料消费者头天晚上就挂掉了，重启消费者，因为auto.offset.reset 默认为latest，所以消费者从昨天晚上的数据接着消费，因为差了一晚上了，消费者一时半会追不上生产者的步伐，而我又需要实时展示数据，且又不能每次重启消费者重新赋予group.id。所以需要手动修改偏移量到最新。

最后通过以下代码解决问题

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "test");
…………
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

TopicPartition partition0 = new TopicPartition("topicName", 0);

consumer.assign(Arrays.asList(partition0,partition1,partition2));

// consumer.seek(partition0, 220);
consumer.seekToEnd(Arrays.asList(partition0));

　　
}

解决！

参考了三度微凉的博客：https://blog.csdn.net/yu280265067/article/details/69390094

转载于:https://www.cnblogs.com/cctvyuzhou/p/9013336.html

kafka重置到最新offset偏移量相关推荐

【Kafka】Kafka 1.1.0以后版本获取Kafka每个分区最新Offset的几种方法
1.概述脚本方法 [lcc@lcc ~/soft/kafka/kafka_2.11-1.1.0]$ ./bin/kafka-run-
【Kafka】Kafka 0.10.0版本获取Kafka每个分区最新Offset的几种方法
1.概述脚本方法 [root@1 kafka]# ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list xxx:9092
Kafka offset 偏移量详解
1 背景 Kafka是Consumer去拉Broker 中的数据,但是数据从何处开始拉是一个技术问题为了解决这个问题场景,所以Kafka推出了偏移量的概念 2 offset 偏移量是什么 2.1 基 ...
【Kafka】从kafka中读取最新数据
[Kafka]从kafka中读取最新数据一.死循环无限拉取kafka数据 1.1 整体框架剖析 1.2 测试二.@KafkaListener注解实现监听kafka数据三.参考资料前情提要:我 ...
使用redis kv数据库维护kafka主题分区的offset
目的将kafka的offset保存到外部的redis数据库中,再次读取的时候也从外部的redis数据库读取主要步骤 1 从kafka获取要读取的消息的开始offset 2 通过offset读取数据 ...
kafka是如何通过offset定位一条消息的？
Kafka文件结构 Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic 的.topic 是逻辑上的概念,而 partition 是物理上的概念,每个 ...
【Kafka】Kafka使用代码设置offset值
1.概述转载:https://www.cnblogs.com/jinniezheng/p/6379639.html package com.kafka.consumer.offset.update; ...
kafka重置offset到某个时间点
/** * @Title RestOffset.java * @Package com.dc.config.kafka.init * @Description: TODO(用一句话描述该文件做什么) ...
Kafka Consumer位移（Offset）提交——解决Consumer重复消费和消息丢失问题
本文目录 1.Consumer 位移(offset) 1.2 位移(offset)的作用 2. 位移(offset)提交导致的问题 2.1 消息丢失 2.2 消息重复消费 3 Consumer位移提交 ...

kafka重置到最新offset偏移量

kafka重置到最新offset偏移量相关推荐

最新文章

热门文章