Kafka自动提交offset设置

auto.commit.interval.ms

kafka自动提交offset的频率,默认是5000ms,就是5s

如果将enable.auto.commit设置为true，则消费者偏移量自动提交给Kafka的频率（以毫秒为单位）。

The frequency in milliseconds that the consumer offsets are
auto-committed to Kafka if enable.auto.commit is set to true.

自动提交是调用poll方法的时候顺便提交的,如果没有调用poll,时间到了也不会提交.

假设 enable.auto.commit 设置为 true，auto.commit.interval.ms 设置为 3000，试想一下会不会出现这样的问题：

poll 方法返回了 500 条数据，需要 5 秒钟才能处理完，假设在第 4 秒的时候应用挂了，offset 是不是在第 3
秒的时候已经被自动提交了，从而导致第 4 秒之后的数据“丢失”了？

正确答案是：不会的！虽然 auto.commit.interval.ms 设置为 3000，但是检查时间间隔是否过了 3 秒是由 poll 方法去触发的，所以只要在记录还没处理完之前我们没有主动去调用 poll 方法，就算时间间隔到了，也不会去自动提交。

如果auto_commit_interval_ms的值设置的过大，当消费者在自动提交偏移量之前异常退出，将导致kafka未提交偏移量，进而出现重复消费的问题，所以建议auto_commit_interval_ms的值越小越好

enable.auto.commit

如果为true，则将在后台定期提交消费者的offset。
默认值为true;

总结

offset自动提交,要注意可能引起重复消费的问题

参考

Kafka 中文文档 - ApacheCN
容易被误会的 kafka auto commit - Rason’s Blog:
Kafka提交offset机制_小白-CSDN博客_kafka offset机制

Kafka自动提交offset设置相关推荐

kafka自动提交offset失败：Auto offset commit failed
今天在服务日志中观察数据的消费情况时,发现了一个如下的警告,而且每隔几秒就会出现一次,虽然只是个警告, Auto offset commit failed for group order_group: ...
python kafka offset自动提交_Spring-Kafka —— 实现批量消费和手动提交offset
spring-kafka的官方文档介绍,可以知道自1.1版本之后, @KafkaListener开始支持批量消费,只需要设置batchListener参数为true 把application.yml中 ...
Kafka消费消息自动提交与手动提交
消费者poll消息得过程(poll的意思是从broker拿消息,并不代表拿到就消费成功了) 消费者建立了与broker之间的⻓连接,开始poll消息. 默认一次poll 500条消息 props.pu ...
kafka re-blance 重平衡、堆积、自动提交
由一次kafk数据堆积说起因为公司的项目是由一个第三方的旧系统迁移过渡开发过来的,而且时间很急,所以有许多数据需要修正.为了不影响线上的业务,修复数据的逻辑是在另一个应用的,可以通过管理系统圈定数据 ...
Kafka：Consumer手动提交offset
在上一篇博客中介绍了使用Consumer订阅多个Topic或者多个Partition: Kafka:Consumer订阅在上一篇博客的测试样例中,Consumer都是自动提交offset,这是通过下 ...
mysql 设置事物自动提交_mysql事务自动提交的问题
1:mysql的aut0commit配置默认是开启的,也就是没执行一条sql都会提交一次,就算显示的开启事务也会导致多条SQL不在一个事务中, 如果需要相关的SQL在同一个事务中执行,那么必须将aut ...
oracle sql developer 自动提交,PL/SQL Developer 自动提交事务的设置
之前在某测试机上用update更新表,没有commit,也没有关PL/SQL Developer. 第二天,在自己电脑上查看该表,发现记录并没有更新想用SQL语句重新更新,执行了十多分钟还没执行完. ...
springboot配置手动提交_kafka教程-springboot消费者-手动提交offset
介绍自动提交 offset 十分简介便利,但由于其是基于时间提交的,开发人员难以把握offset 提交的时机. 因此 Kafka 还提供了手动提交 offset 的 API. 手动提交 offse ...
Kafka3.0 提交offset方式
文章目录 offset 的默认维护位置自动提交 offset 手动提交 offset offset 的默认维护位置 Kafka0.9版本之前,consumer默认将offset保存在Zookeepe ...

Kafka自动提交offset设置

auto.commit.interval.ms

enable.auto.commit

总结

参考

Kafka自动提交offset设置相关推荐

最新文章

热门文章