kafka虞兮叹二（生产消息不丢失不重复）

2024-04-26 20:54:24

一、producer生产消息不丢失

ack应答机制：只要设置acks=all(-1)，那么数据就不会丢失！

acks：

0：producer不等待broker的ack，这一操作提供了一个最低的延迟，broker一接收到还没有写入磁盘就已经返回，当broker故障时有可能丢失数据；

1：producer等待broker的ack，partition的leader落盘成功后返回ack，如果在follower同步成功之前leader故障，那么将会丢失数据；

-1（all）：producer等待broker的ack，partition的leader和follower全部落盘成功后才返回ack。但是如果在follower同步完成后，broker发送ack之前，leader发生故障，那么会造成数据重复。

二、producer生产消息不重复（发送幂等性）

0.11 版本的 Kafka，引入了一项重大特性：幂等性。所谓的幂等性就是指 Producer 不论向 Server 发送多少次重复数据，Server 端都只会持久化一条。

要启用幂等性，只需要将 Producer 的参数中 enable.idompotence 设置为 true 即可。

Kafka的幂等性实现其实就是将原来下游需要做的去重放在了数据上游。开启幂等性的 Producer 在初始化的时候会被分配一个 PID，发往同一 Partition 的消息会附带 Sequence Number。而Broker 端会对<PID, Partition, SeqNumber>做缓存，当具有相同主键的消息提交时，Broker 只会持久化一条。

enable.idompotence=enable
pid - partition - seqnumber 相等的两条数据被视为同一条数据（pid是producer_id）

Sequence Numbler：（对于每个PID，该Producer发送数据的每个<Topic, Partition> 都对应一个从0开始单调递增的Sequence Number。
Broker端在缓存中保存了这seq number，对于接收的每条消息，如果其序号大于Broker 缓存中序号则接受它，否则将其丢弃。这样就可以避免消息重复提交了。

kafka虞兮叹二（生产消息不丢失不重复）相关推荐

kafka虞兮叹三（消息有序消费）
两种方案: 方案一,kafka topic 只设置一个partition分区方案二,producer将消息发送到指定partition分区解析: 方案一:kafka默认保证同一个partiti ...
Kafka高吞吐原理及如何保证不丢失不重复消费
原文:Kafka如何保证不丢失不重复消费 - 知乎一.如何保证百万级写入速度: 目录 1.页缓存技术 + 磁盘顺序写 2.零拷贝技术 3.最后的总结 "这篇文章来聊一下Kafka的一些架构 ...
Kafka消息投递语义-消息不丢失，不重复，不丢不重
转载:https://3gods.com/bigdata/Kafka-Message-Delivery-Semantics.html 介绍 kafka支持3种消息投递语义: At most once- ...
rabbitmq如何保证消息不丢失_RabbitMQ的去重与防止消息的丢失
Rabbitmq作为高并发的消息中间件,本文不在阐述基础概念.旨在分析与提供解决消息的丢失与重复的解决思路. RabbitMQ架构流程图根据以上架构图,要明白消息走向的整个流程,生产者发送消息--& ...
解开Kafka神秘的面纱(二)：Kafka的高效读写与消息安全
文章目录一.前言二.Kafka消息队列 2.1 生产者生产kafka中的消息数据 2.1.1 生产者生产kafka中的消息数据 2.1.2 kafka生产者高效写盘 2.2 消费者消费kafka中 ...
Kafka创建查看topic，生产消费指定topic消息
启动zookeeper和Kafka之后,进入kafka目录(安装/启动kafka参考前面一章:https://www.cnblogs.com/cici20166/p/9425613.html) 1.创 ...
kafka实现异步发送_Kafka 异步消息也会阻塞？记一次 Dubbo 频繁超时排查过程
线上某服务 A 调用服务 B 接口完成一次交易,一次晚上的生产变更之后,系统监控发现服务 B 接口频繁超时,后续甚至返回线程池耗尽错误 Thread pool is EXHAUSTED.因为服务 B ...
Kafka设计解析（二）：Kafka High Availability （上）
为什么80%的码农都做不了架构师?>>> Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Par ...
Kafka设计解析（二）：Kafka High Availability （上）-转
原文地址:http://www.infoq.com/cn/articles/kafka-analysis-part-2?utm_source=infoq&utm_campaign=user_p ...

最新文章

热门文章