kafka_2.11-0.10.2.1中的auto.offset.reset

在使用spark连接kafka消费topic时，发现无论怎么设置，也无法从头开始消费。

查看配置得出auto.offset.reset的以下3种设置及含义:

earliest
当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费
latest
当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据
none 
topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常

也就是说无论哪种设置，只要kafka中相同group、partition中已经有提交的offset，则都无法从开始消费。

kafka API：

http://kafka.apache.org/10/javadoc/index.html

kafka_2.11-0.10.2.1中的auto.offset.reset相关推荐

红米8A的root步骤（MIUI 11.0.10.0 稳定版安卓9）
手机root记录的第四篇. 红米8A便宜又耐跎,很适合作为测试机. 具体的操作步骤如下: 1.当然是BL解锁,这个不赘述了. 2.使用w大(wzsx150)对应安卓9的"TWRP-3.3.1 ...
好看视频 v4.11.0.10
类型:影音播放版本:v4.11.1.10 大小:14.3M 更新:2019/3/7 语言:简体等级: 平台:安卓, 4.0以上下载地址: 好看视频 v4.11.0.10(1) 好看视频 v4.1 ...
IDEA2021启动报错Your JRE: 11.0.10+9-b1341.41 amd64 (JetBrains s.r.o.)\jbr libpng warning: iCCP: cHRM
IDEA2021启动失败问题 Internal error. Please refer to https://jb.gg/ide/critical-startup-errors 这个问题大部分情况下是 ...
mysql安装11.0.10,MySQL8.0.11版本的安装 win10的
MySQL8.0.11版本的安装不知道为什么之前的Navicat for MySQL的密码忘记了,导致这个软件根本用不了,在经过一个多小时的折磨之下(在网上尝试了很多种方法去找回密码或者修改密码,但 ...
kafka中文文档（0.10.0）
kafka中文文档(0.10.0) 作者:链上研发-老杨叔叔时间:2016-07-22 版本:Apache Kafka 0.10.0 (2016年5月底发布) .目录 kafka中文文档0100 目 ...
redis-4.0.10集群安装（3台机器，6个node），以及在Spring项目中的集成，redis操作工具类
1 Redis安装 redis高可用的三种常见的集群方式:redis sentinel .redis cluster(多主机+分布式).redis sharding.接下来主要介绍redis sent ...
2021年大数据Spark（四十三）：SparkStreaming整合Kafka 0.10 开发使用
目录整合Kafka 0-10-开发使用原理 1.Direct方式 2.简单的并行度1 : 1 API 注意代码实现-自动提交偏移量到默认主题代码实现- ...
Flink 1.11.0 发布，有哪些值得关注的新特性？
简介:7 月 7 日,Flink 1.11.0 正式发布.历时近 4 个月,Flink 在生态.易用性.生产可用性.稳定性等方面都进行了增强和改善.Apache Flink PMC.阿里巴巴高级技术专 ...
FineReport 11.0 五大全新功能，让报表开发更快、更好看
在FineReport 11.0 剧透中,大师兄给大家预告了很多亮点功能!布局推荐.复用组件.主题切换等功能对应的痛点场景更是引起了超多的共鸣! 这些让我们困扰已久的问题,在 FineReport 1 ...

kafka_2.11-0.10.2.1中的auto.offset.reset

kafka_2.11-0.10.2.1中的auto.offset.reset相关推荐

最新文章

热门文章