kafka消费者如何才能从头开始消费某个topic的全量

消费者要从头开始消费某个topic的全量数据，需要满足2个条件（spring-kafka）：

（1）使用一个全新的"group.id"（就是之前没有被任何消费者使用过）; （2）指定"auto.offset.reset"参数的值为earliest；

对应的spring-kafka消费者客户端配置参数为：

<!-- 指定消费组名 -->
<entry key="group.id" value="fg11"/>
<!-- 从何处开始消费,latest 表示消费最新消息,earliest 表示从头开始消费,none表示抛出异常,默认latest -->
<entry key="auto.offset.reset" value="earliest"/>

注意：从kafka-0.9版本及以后，kafka的消费者组和offset信息就不存zookeeper了，而是存到broker服务器上，所以，如果你为某个消费者指定了一个消费者组名称（group.id），那么，一旦这个消费者启动，这个消费者组名和它要消费的那个topic的offset信息就会被记录在broker服务器上。

比如我们为消费者A指定了消费者组（group.id）为fg11，那么可以使用如下命令查看消费者组的消费情况：

bin/kafka-consumer-groups.sh --bootstrap-server 172.17.6.10:9092 --describe --group fg11

显示结果如下：

TOPIC   PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG  CONSUMER-ID                                      HOST              CLIENT-ID
friend  0          6               6               0    consumer-1-08c856a3-ae39-4f73-a2da-4de1795c6ad4  /192.168.207.127  consumer-1
friend  1          2               2               0    consumer-1-08c856a3-ae39-4f73-a2da-4de1795c6ad4  /192.168.207.127  consumer-1
friend  2          4               4               0    consumer-1-08c856a3-ae39-4f73-a2da-4de1795c6ad4  /192.168.207.127  consumer-1

其实friend这个topic共有3个分区，消息总数为12条，其实在消费者A启动之前，这12条消息已经被其他某个组的消费者消费过了。而我们虽然为消费者A指定了一个全新的group.id为fg11，但是如果我们在启动消费者A之前，指定的"auto.offset.reset"参数的值是latest而不是earliest的话（就算你停止消费者，然后改为earliest也是没有用的），启动之后它将不会消费以前的消息，除非friend这个topic的分区中有了新的消息它才会消费。

所以一定要在消费者启动之前就保证group.id是全新的，而且要指定earliest而不是latest。

kafka消费者如何才能从头开始消费某个topic的全量相关推荐

kafka消费者组消费数据问题
前言在上一篇的消费者代码中,里面提到了一个很重要的点,那就是在代码中必须要指明消费者组,为什么要这样呢? 这个跟kafka自身在架构设计时是有一定的关系的,通过之前的学习我们知道,kafka天生就是 ...
kafka Java客户端之 consumer API 消费消息
背景:我使用docker-compose 搭建的kafka服务 kafka的简单介绍以及docker-compose部署单主机Kafka集群使用consumer API消费指定Topic里面的消息 ...
kafka消费者源码解析
在分析kafka消费者源码之前,我先提出以下问题,大家带着问题去看. 1.消费者如何知道需要消费的topic分区分布在集群的哪些broker上呢? 2.由于消费组内存在多个消费者消费同一topic的情 ...
深入浅出系列之 -- kafka消费者的三种语义模型
本文主要详解kafka client的使用,包括kafka消费者的三种消费语义at-most-once,at-least-once,和exact-once message,生产者的使用等. 创建主题 ...
Kafka 3.0 源码笔记(3)-Kafka 消费者的核心流程源码分析
文章目录前言 1. 消费者负载均衡的实现 2. 源码分析 2.1 KafkaConsumer 的初始化 2.2 KafkaConsumer 的消息拉取 2.2.1 消息拉取的准备及入口 2.2.2 ...
kafka消费者 confluent_kafka
kafka消费者--python api 之confluent-kafka 一.版本二.需求概述三.解决思路四.执行 4.1 获取每个分区消费的offset信息 4.2 启动一个消费者 4.3 ...
kafak消费者从头开始消费（消费者组）
[README] 本文主要用于描述 kafka 消费者如何从头开始消费: [1]从头开始消费 1)从头开始消费,需要满足两个条件, 如下: 条件1, 使用一个全新的消费者组id: 条件2,指定 aut ...
kafka auto.offset.reset设置earliest从头开始消费
auto.offset.reset设置为earliest spring:kafka:bootstrap-servers: 192.168.?.x:9092 consumer:auto-offset-r ...
聊聊Kafka(三)Kafka消费者与消费组
Kafka消费者与消费组简介消费者概念入门消费者.消费组心跳机制消息接收必要参数配置订阅反序列化位移提交消费者位移管理再均衡避免重平衡消费者拦截器消费组管理什么是消费者 ...

kafka消费者如何才能从头开始消费某个topic的全量

kafka消费者如何才能从头开始消费某个topic的全量相关推荐

最新文章

热门文章