RocketMq消息积压、消息重复、消息完整、消息顺序处理方案
消息积压
当生产端的生产效率大于消费端的消费效率,就会造成消息处理不完的情况。
排查方式:RocketMQ 监控告警:生产环境如何快速通过监控预警发现堆积、收发失败等问题?_rocketmq监控指标_阿里云云原生的博客-CSDN博客
处理方案:
消费端水平扩容,
1、如果Topic下的分配的队列足够多,集群中新增Consummer节点来消费。最极限的情况是把Consumer的节点个数设置成跟队列的个数相同。超过的情况没有意义,一个consumer同步消费一条队列。
2、如果Topic下的分配的队列不够的情况。
2-1、新增一个topic,并且分配更多的队列,并且把旧的topic的消息转存到新的Topic中,新增更多的Consumer进行消费队列(Consumer数量==队列的数量)。
2-2、旧的topic,可以再分配一个新的consumer去消费。
消息重复
原因:
1、发送时消息重复: 当一条消息已被成功发送到服务端并完成持久化,此时出现了网络闪断或者客户端宕机,导致服务端对客户端应答失败。 如果此时生产者意识到消息发送失败并尝试再次发送消息,消费者后续会收到两条内容相同并且 Message ID 也相同的消息。
2、投递时消息重复: 消息消费的场景下,消息已投递到消费者并完成业务处理,当客户端给服务端反馈应答的时候网络闪断。 为了保证消息至少被消费一次,消息队列 RocketMQ 的服务端将在网络恢复后再次尝试投递之前已被处理过的消息,消费者后续会收到两条内容相同并且 Message ID 也相同的消息。
3、负载均衡时消息重复(包括但不限于网络抖动、Broker 重启以及订阅方应用重启): 当消息队列 RocketMQ 的 Broker 或客户端重启、扩容或缩容时,会触发 Rebalance,此时消费者可能会收到重复消息。
解决方案:
1、使用数据库的唯一约束实现幂等,比如对于数据插入类的场景,比如创建订单,因为订单号肯定是唯一的,所以如果是多次调用就会触发数据库的唯一约束异常,从而避免一个请求创建多个订单的问题。
2、使用redis里面提供的setNX指令,比如对于MQ消费的场景,为了避免MQ重复消费导致数据多次被修改的问题,可以在接受到MQ的消息时,把这个消息通过setNx写入到redis里面,一旦这个消息被消费过,就不会再次消费。
消息完整(不丢失):
producer端(发送端):
- 同步发送
- 异步发送
- 单向发送
1、producer端由默认的异步机制改为实时的同步机制,producer端就可以实时知道消息的发送结果。
2、可以实现异步回调来监听消息发送的结果,如果发送失败,可以在回调中重试。
3、 使用producer的重试机制,没发送成功就再发送一次。
broker端(存储端):
- 同步刷盘:生产者消息发过来时,只有持久化到磁盘,RocketMQ 存储端Broker 才返回一个成功ACK 响应。它保证消息不丢失,但影响了性能。
- 异步刷盘:只要消息写入 PageCache 缓存,就返回一个成功 ACK 响应。这样提高了 MQ 性能,但如果这时候机器断电了,就会丢失消息。
1、 异步批量刷盘机制,按照一定消息量和时间间隔去刷盘。这个是由操作系统本身去决定,如果刷盘之前系统崩溃了,才会导致消息丢失。针对这种崩溃场景:需要通过partition的副本机制和ack机制来解决。
Broker 一般集群部署,有主节点和从节点。消息到 Broker 存储端,只有主节点和从节点都写入成功,才反馈成功ack 给生产者。这就同步复制,它保证了消息不丢失,但降低了系统吞吐量。与之对应即异步复制,只要消息写入主节点成功,就返回成功ack,它速度快,但会有性能问题。
cusumer端(消费端):
消费者执行完业务逻辑,再反馈会 Broker 说消费成功,这样才可以保证消费阶段不丢消息,调整offset即可。
事务消息
- 生产者产生消息,发送一条半事务消息到 MQ 服务器
- MQ 收到消息后,将消息持久化到存储系统,这条消息✁状态✁待发送状态。
- MQ 服务器返回 ACK 确认到生产者,此时 MQ 不会触发消息推送事件
- 生产者执行本地事务
- 如果本地事务执行成功,即 commit 执行结果到 MQ 服务器;如果执行失败,发送rollback。
- 如果正常commit,MQ 服务器更新消息状态为可发送;如果rollback,即删除消息。
- 如果消息状态更新为可发送,则 MQ 服务器会 push 消息给消费者。消费者消费完就回ACK。
- 如果 MQ 服务器长时间没有收到生产者commit 或者rollback,它会反查生产者,然后根据查询到结果执行最终状态。
RocketMq消息积压、消息重复、消息完整、消息顺序处理方案相关推荐
- 一文理清RocketMQ顺序消费、重复消费、消息丢失问题
前言 在使用消息队列时不可避免的会遇到顺序消费.重复消费.消息丢失三个问题.在一次面试字节的时候,面试官问到如何保证顺序消费,当时回答不太准确,特意此文回顾如何解决顺序消费.重复消费.消息丢失三个问题 ...
- 消息队列中:消息可靠性、重复消息、消息积压、利用消息实现分布式事务
点击下方"Java编程鸭"关注并标星 更多精彩 第一时间直达 一.如何确保消息不丢失? 1.检测消息丢失的方法 可以利用消息队列的有序性来验证是否有消息丢失.在Producer端给 ...
- rocketmq 重复消费_消息队列 RocketMQ
引言 本文整理了RocketMQ的相关知识,方便以后查阅. 功能介绍 简单来说,消息队列就是基础数据结构课程里"先进先出"的一种数据结构,但是如果要消除单点故障,保证消息传输的可靠 ...
- MQ 消息丢失、重复、积压问题,如何解决?
面试官在面试候选人时,如果发现候选人的简历中写了在项目中使用了 MQ 技术(如 Kafka.RabbitMQ.RocketMQ),基本都会抛出一个问题:在使用 MQ 的时候,怎么确保消息 100% 不 ...
- 阿里二面:RocketMQ 消息积压了,增加消费者有用吗?
面试官:RocketMQ 消息积压了,增加消费者有用吗? 我:这个要看具体的场景,不同的场景下情况是不一样的. 面试官:可以详细说一下吗? 我:如果消费者的数量小于 MessageQueue 的数量, ...
- rocketmq 消息指定_rocketmq-常见问题总结(消息的顺序、重复、消费模式)
参考: http://www.cnblogs.com/wxd0108/p/6038543.html https://www.cnblogs.com/520playboy/p/6750023.html ...
- RabbitMQ 可靠性、重复消费、顺序性、消息积压解决方案
前言 为什么引入消息队列?引入 MQ 给我们解决了一些问题,但同时又引入了一些复杂的问题,这些问题是大型项目中必须解决的重点,更重要的是,面试也经常问.实际上消息队列可以说是没法百分之百保证可靠性的! ...
- RocketMQ常见问题-消息重复消费和消息重复的问题
RocketMQ不解决消息重复问题,RocketMQ不解决消息重复问题,RocketMQ不解决消息重复问题,重要的事情说三遍. 基本上说我很讨厌有人问这个问题,问这个问题首先你对消息的生命周期缺乏理解 ...
- RabbitMQ常见问题解决方案——消息丢失、重复消费、消费乱序、消息积压
文章目录 背景 RabbitMQ常见问题解决方案 1. RabbitMQ的可靠性(消息丢失问题) 1.1 生产者丢失消息 1.2 RabbitMQ弄丢消息 1.2.1 交换机持久化 1.2.2 队列持 ...
最新文章
- 《可扩展的艺术》内容回顾与作者采访
- 记录一次Socket编程:OutputStream的flush方法
- 不确定下钻数的循环(部门下所属部门 多层下钻)
- c#初学12-12-为什么mian函数必须是static的
- 教机器写代码:增强拓扑进化网络(NEAT)
- 工作中遇到的问题——2018年
- 服务器来料检测作用,IQC来料检验项目
- windows cmd 复制文件
- 微信小程序测试号申请页面不显示AppID 和AppSecret的解决办法
- 张邦鑫:组织文化 - 价值观打造方法论初步
- 基于layui 2.*省市级三级联动
- 【PPT】2010/2013/2016实现在演示过程中拖拽图片/形状
- 车牌识别EasyPR(2)——车牌颜色定位与偏斜扭转
- MTK笔试面试题集锦
- Android应用中实现系统“分享”接口
- 百度地图定位+卫星定位
- 【Bootstrap】一个兼容IE8、谷歌等主流浏览器的受众巨幕式风格页面
- 天龙八部手工架设--Linux 服务器环境搭建(游戏数据库篇)
- 高效开发:你的项目有接口聚合服务吗?
- 74HC165串行读取的信号全是ff