Kafka的消费语义

消费语义

at most once：
最多消费一次消息0/1 消息可能丢失但是不会重复消费 -->log
解释：
消费者的offset已经提交，但是消息还在处理，这个时候挂了，再重启的时候会从上次提交的offset处消费，导致上次在处理的消息部分丢失。

at least once:
至少消费1次消息>=1 消费不可能丢失但是会重复消费 -->
很多公司都用这个
解释：
消费者已经处理完了，但是offset还没提交，那么这个时候消费者挂了，就会导致消费者重复消费消息处理。但是由于auto.commit.interval.ms设置为一个较低的时间范围，会降低这种情况出现的概率。

insert ok insert再做一次
update 挂了

exactly once:
正好1次消息 1 不会丢失也不会重复但是代码维护、外部存储维护量大
外部存储offset zk、hbase、redis
官方支持，有待验证

Kafka的消费语义相关推荐

Kafka 顺序消费方案
欢迎关注方志朋的博客,回复"666"获面试宝典来源:blog.csdn.net/qq_38245668/article/ details/105900011 前言本文针对解决K ...
正确处理kafka多线程消费的姿势
最近项目开发过程使用kafka作为项目模块间负载转发器,实现实时接收不同产品线消息,分布式准实时消费产品线消息.通过kafka作为模块间的转换器,不仅有MQ的几大好处:异步. 解耦. 削峰等几大好处, ...
kafka的消费隔离级别(持续更新中)
隔离级别具体代码 Read uncommitted properties.put(ConsumerConfig.ISOLATION_LEVEL_CONFIG,"read_uncommitt ...
videojs如何获取请求消息_中通消息平台 Kafka 顺序消费线程模型的实践与优化
各类消息中间件对顺序消息实现的做法是将具有顺序性的一类消息发往相同的主题分区中,只需要将这类消息设置相同的 Key 即可,而 Kafka 会在任意时刻保证一个消费组同时只能有一个消费者监听消费,因此可 ...
kafka重复消费问题
开篇提示:kafka重复消费的根本原因就是"数据消费了,但是offset没更新"!而我们要探究一般什么情况下会导致offset没更新? 今天查看Elasticsearch索引的时候 ...
kafka 主动消费_Kafka核心API——Consumer消费者
Consumer之自动提交在上文中介绍了Producer API的使用,现在我们已经知道如何将消息通过API发送到Kafka中了,那么现在的生产者/消费者模型就还差一位扮演消费者的角色了.因此,本文 ...
kafka 多线程消费
一. 1.Kafka的消费并行度依赖Topic配置的分区数,如分区数为10,那么最多10台机器来并行消费(每台机器只能开启一个线程),或者一台机器消费(10个线程并行消费).即消费并行度和分区数一致. ...
利用Kafka发送/消费消息-Java示例
利用Kafka发送/消费消息-Java示例当使用命令行工具把基本的组件运行起来后,再使用Java client就很简单,这里是入门的第一个Java客户端程序,有很多需要深入理解的地方. 依赖配置 & ...
kafka多线程消费
1.zookeeper集群搭建:zookeeper安装以及使用_燕少༒江湖的博客-CSDN博客_zookeeper 2.kafka集群搭建:kafka集群搭建以及遇到的异常_燕少༒江湖的博客-CSDN ...

Kafka的消费语义

消费语义

Kafka的消费语义相关推荐

最新文章

热门文章