Kafka之Fetch offset xxx is out of range for partition xxx,resetting offset情况总结

Kafka消费者出现这种日志，说明kafka消费者拉取的偏移量，在Kafka服务端没有，就会进行偏移量的重置。

为什么会没有偏移量呢？可能是因为该偏移量的数据删除了。也可能是因为程序里调用了seek方法，手动指定了偏移量，而这个偏移量在Kafka中还没有存储到数据，也会报out of range。

博主就是因为在负载均衡监听器中，获取consumer在kafka服务端的偏移量时，调用了consumer.commited()方法。该方法返回的就是下一个要拉取的偏移量，而在这里我又加了1。所以造成了out of range的情况出现。

出现out of range后，kafka会自动重置偏移量。针对上述的第一种out of range的情况，即偏移量数据丢失了。那么kafka会将偏移量自动重置到下一个有数据的偏移量上。例如,偏移量1-10中，3-5偏移量的数据丢失了。那么，kafka拉取到3时，会报out of range日志，此时kafka会将偏移量重置到6上。

而针对第二种情况的out of range。即超出了现有偏移量的范围，此时kafka会根据consumer设置的reset策略进行重置。如果设置的是earliest，则会重置到开头，重新消费。如果设置的是latest，则会重置到最近的一个有偏移量的地方。
所以，当我们设置为earliest时，且程序中调用seek手动设定偏移量时，如果偏移量计算不好，很容易造成从头开始消费的后果。针对这种情况，我们可以把reset属性设置成none。重置时抛出异常，来避免从头开始重复消费的后果。

Kafka之Fetch offset xxx is out of range for partition xxx,resetting offset情况总结相关推荐

【Kafka】kafka Current offset xxx for partition xxx out range
文章目录 1.背景 1.背景 kafka报错 kafka Current offset xxx for partition xxx out range 该问题和以下2个问题有所关系 [Kafka]ka ...
svn版本库浏览器_svn：版本库xxx不存在||svn:No such revision xxx的问题
满意答案 ee0808 2016.11.13 采纳率:56% 等级:13 已帮助:8065人 svn:版本库xxx不存在||svn:No such revision xxx的问题一般情况下出现这 ...
vue中处理后台返回的 html 特殊标签(‘\lt； p style=“xxx“ \gt；‘)或(\＜p＞)的三种情况及传给后端数据的解决方案
问题一:vue中处理后台返回的 html 特殊标签('&lt: p style="xxx" &gt:')或(\<p>)的三种情况返回数据 // 返回数 ...
解决Invalid HTTP_HOST header: 'xxx.xx.xxx.xxx:8000'. You may need to add 'xxx.xx' to ALLOWED_HOSTS问题
运行django程序后,通过浏览器访问服务器网址的8000端口,出现访问错误,报错如下 DisallowedHost at / Invalid HTTP_HOST header: 'xxx.xx.xx ...
The bean ‘xxx‘ could not be injected as a ‘xxx‘ because it is a JDK dynamic proxy that implements:
The bean 'xxx' could not be injected as a 'xxx' because it is a JDK dynamic proxy that implements: 问 ...
xxx required a bean of type ‘com.xxx.utils.http.sss‘ that could not be found.
xxx required a bean of type 'com.xxx.utils.http.sss' that could not be found. Consider defining a be ...
Android Studio-Didn't find class XXX on path: DexPathList [zip file /data/xxx/base.apk]解决方法
OPPO R11 手机运行应用,打开app直接闪退,界面进都进不去.错误信息如下: --------- beginning of crash 2019-03-22 13:33:21.065 22665 ...
.XXX文件的文件类型变成WanNengZip.XXX应该如何打开（阻止流氓软件万能压缩、好压、快压等挟持正常软件）
.XXX文件的文件类型变成WanNengZip.XXX应该如何打开(阻止流氓软件万能压缩.好压.快压等挟持正常软件) 最近为了打开Mars4_5安装了Java运行环境(JRE),但是在打开Mars4_ ...
Kafka系列 - 10 Kafka副本|分区副本分配|手动调整分区副本|Leader Partition 负载平衡|增加副本因子
文章目录 1. 分区副本分配 2. 手动调整分区副本 3. Leader Partition 负载平衡 4. 增加副本因子 1. 分区副本分配如果 kafka 服务器只有 4 个节点,那么设置 ka ...

Kafka之Fetch offset xxx is out of range for partition xxx,resetting offset情况总结

Kafka之Fetch offset xxx is out of range for partition xxx,resetting offset情况总结相关推荐

最新文章

热门文章