概述

Apache Kafka-消息丢失分析及 ACK机制探究

我们这里配了个manual, 为啥子嘛

AckMode源码解读

我们来看下 Spring Kafka封装的ACK

ContainerProperties#AckMode

 /*** The offset commit behavior enumeration.*/public enum AckMode {/*** Commit after each record is processed by the listener.*/RECORD,/*** Commit whatever has already been processed before the next poll.*/BATCH,/*** Commit pending updates after* {@link ContainerProperties#setAckTime(long) ackTime} has elapsed.*/TIME,/*** Commit pending updates after* {@link ContainerProperties#setAckCount(int) ackCount} has been* exceeded.*/COUNT,/*** Commit pending updates after* {@link ContainerProperties#setAckCount(int) ackCount} has been* exceeded or after {@link ContainerProperties#setAckTime(long)* ackTime} has elapsed.*/COUNT_TIME,/*** User takes responsibility for acks using an* {@link AcknowledgingMessageListener}.*/MANUAL,/*** User takes responsibility for acks using an* {@link AcknowledgingMessageListener}. The consumer* immediately processes the commit.*/MANUAL_IMMEDIATE,}

自动提交设置

RECORD

每条消息被消费完成后，自动提交

BATCH

每一次消息被消费完成后，在下次拉取消息之前，自动提交（默认模式）

TIME ：

达到一定时间间隔后，自动提交, 并不是一到就立马提交，如果此时正在消费某一条消息，需要等这条消息被消费完成，才能提交消费进度

COUNT

消费成功的消息数到达一定数量后，自动提交，它并不是一到就立马提交，如果此时正在消费某一条消息，需要等这条消息被消费完成，才能提交消费进度

COUNT_TIME

TIME 和 COUNT 的结合体，满足任一都会自动提交。

手工提交设置

MANUAL

调用时，先标记提交消费进度。等到当前消息被消费完成，然后在提交消费进度。

MANUAL_IMMEDIATE

调用时，立即提交消费进度。

最佳实践

那应该怎么配置呢

配置 spring.kafka.consumer.enable-auto-commit为true， spring.kafka.consumer.auto-commit-interval 设置自动提交的频率，举个例子自动提交，批量拉去了一波，还没消费完，你就提交了，这给时候如果消费者挂了，消息丢失。。。
配置 spring.kafka.consumer.enable-auto-commit为false ， spring.kafka.listener.ack-mode 设置具体模式，结合具体情况。有可能重复消费，注意幂等性的判断
另外，spring.kafka.listener.ack-time 和 spring.kafka.listener.ack-count 可以设置自动提交的时间间隔和消息条数

总而言之，没有标准答案，需要进行trade off ,权衡一下

嗨，你这不是诶说么。。。。

Apache Kafka-AckMode最佳实践相关推荐

[实战系列]SelectDB Cloud Kafka Connect 最佳实践张家锋
概述企业正在经历其数据资产的爆炸式增长,这些数据包括批式或流式传输的结构化.半结构化以及非结构化数据,随着海量数据批量导入的场景的增多,企业对于 Data Pipeline 的需求也愈加复杂.新一代 ...
大规模使用 Apache Kafka 的20个最佳实践
点击蓝色"程序猿DD"关注我哟加个"星标",不忘签到哦本文来源:朱小厮的博客配图来源:<深入理解Kafka> Apache Kafka是一款流 ...
Apache Kafka: 优化部署的10个最佳实践
原文作者:Ben Bromhead 译者:江玮原文地址:https://www.infoq.com/articles/apache-kafka-best-practices-to-opti ...
消息中间件学习总结（5）——RocketMQ之Apache RocketMQ背后的设计思路与最佳实践
摘要:为了更好地让开发者们更加深入了解阿里开源,阿里云云栖社区在3月1号了举办"阿里开源项目最佳实践"在线技术峰会,直播讲述了当前阿里新兴和经典开源项目实战经验以及背后的开发思路. ...
聊聊 Kafka：Kafka 消息重复的场景以及最佳实践
一.前言上一篇我们讲了聊聊 Kafka:Kafka 消息丢失的场景以及最佳实践,这一篇我们来说一说 Kafka 消息重复的场景以及最佳实践. 我们下面会从以下两个方面来说一下 Kafka 消息重复 ...
rocketmq支持最大消息_分布式消息引擎Apache RocketMQ最佳实践
1 Producer一个应用尽可能用一个Topic,消息子类型用tags来标识,tags可以由应用自由设置只有发送消息设置了tags,消费方在订阅消息时,才可以利用tags在broker做消息过滤 ...
基于Canal+kafka监听数据库变化的最佳实践
1.前言工作中,我们很多时候需要根据某些状态的变化更新另一个业务的逻辑,比如订单的生成,成交等,需要更新或者通知其他的业务.我们通常的操作通过业务埋点.接口的调用或者中间件完成. 但是状态变化的入口 ...
Pinterest基于AWS规模化使用Apache Kafka的实践经验
在Pinterest,Apache Kafka被用于为实时流应用程序传输数据.记录日志和可视化监控指标.Pinterest的Kafka托管在AWS上,为了实现复制和高可用性,其安装使用了MirrorM ...
超详细 kafka 入门（最佳实践）
今日推荐6年,终拿腾讯 offer! 都2021年了,你还在用Jenkins?赶快看看这些替代方案吧! 盘点 12 个 GitHub 上的高仿项目 CTO 说了,用错 @Autowired 和 @Re ...

Apache Kafka-AckMode最佳实践

文章目录

概述

AckMode源码解读

自动提交设置

手工提交设置

最佳实践

Apache Kafka-AckMode最佳实践相关推荐

最新文章

热门文章