Java性能优化推荐书！RocketMQ消息丢失场景及解决办法

毫不夸张的说，这份SpringBoot学习指南能解决你遇到的98%的问题
给跪了！这套万人期待的 SQL 成神之路PDF，终于开源了

既然使用在项目中使用了MQ，那么就不可避免的需要考虑消息丢失问题。在一些涉及到了金钱交易的场景下，消息丢失还是很致命的。那么在RocketMQ中存在哪几种消息丢失的场景呢？
先来一张最简单的消费流程图：

上图中大致包含了这么几种场景：

生产者产生消息发送给RocketMQ
RocketMQ接收到了消息之后，必然需要存到磁盘中，否则断电或宕机之后会造成数据的丢失
消费者从RocketMQ中获取消息消费，消费成功之后，整个流程结束

这三种场景都可能会产生消息的丢失，如下图所示：

场景1中生产者将消息发送给Rocket MQ的时候，如果出现了网络抖动或者通信异常等问题，消息就有可能会丢失
场景2中消息需要持久化到磁盘中，这时会有两种情况导致消息丢失
①RocketMQ为了减少磁盘的IO，会先将消息写入到os cache中，而不是直接写入到磁盘中，消费者从os cache中获取消息类似于直接从内存中获取消息，速度更快，过一段时间会由os线程异步的将消息刷入磁盘中，此时才算真正完成了消息的持久化。在这个过程中，如果消息还没有完成异步刷盘，RocketMQ中的Broker宕机的话，就会导致消息丢失
②如果消息已经被刷入了磁盘中，但是数据没有做任何备份，一旦磁盘损坏，那么消息也会丢失
消费者成功从RocketMQ中获取到了消息，还没有将消息完全消费完的时候，就通知RocketMQ我已经将消息消费了，然后消费者宕机，但是RocketMQ认为消费者已经成功消费了数据，所以数据依旧丢失了

那么如何保证消息的零丢失呢？

场景1中保证消息不丢失的方案是使用RocketMQ自带的事务机制来发送消息，大致流程为
①首先生产者发送half消息到RocketMQ中，此时消费者是无法消费half消息的，若half消息就发送失败了，则执行相应的回滚逻辑
②half消息发送成功之后，且RocketMQ返回成功响应，则执行生产者的核心链路
③如果生产者自己的核心链路执行失败，则回滚，并通知RocketMQ删除half消息
④如果生产者的核心链路执行成功，则通知RocketMQ commit half消息，让消费者可以消费这条数据
其中还有一些RocketMQ长时间没有收到生产者是要commit/rollback操作的响应，回调生产者接口的细节
在使用了RocketMQ事务将生产者的消息成功发送给RocketMQ，就可以保证在这个阶段消息不会丢失
在场景2中要保证消息不丢失，首先需要将os cache的异步刷盘策略改为同步刷盘，这一步需要修改Broker的配置文件，将flushDiskType改为SYNC_FLUSH同步刷盘策略，默认的是ASYNC_FLUSH异步刷盘。一旦同步刷盘返回成功，那么就一定保证消息已经持久化到磁盘中了；为了保证磁盘损坏不会丢失数据，我们需要对RocketMQ采用主从机构，集群部署，Leader中的数据在多个Follower中都存有备份，防止单点故障。
在场景3中，消息到达了消费者，RocketMQ在代码中就能保证消息不会丢失

//注册消息监听器处理消息
consumer.registerMessageListener(new MessageListenerConcurrently() {@Overridepublic ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context){                                                         //对消息进行处理return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;}
});

上面这段代码中，RocketMQ在消费者中注册了一个监听器，当消费者获取到了消息，就会去回调这个监听器函数，去处理里面的消息
当你的消息处理完毕之后，才会返回ConsumeConcurrentlyStatus.CONSUME_SUCCESS
只有返回了CONSUME_SUCCESS，消费者才会告诉RocketMQ我已经消费完了，此时如果消费者宕机，消息已经处理完了，也就不会丢失消息了

最后

一次偶然，从朋友那里得到一份“java高分面试指南”，里面涵盖了25个分类的面试题以及详细的解析：JavaOOP、Java集合/泛型、Java中的IO与NIO、Java反射、Java序列化、Java注解、多线程&并发、JVM、Mysql、Redis、Memcached、MongoDB、Spring、Spring Boot、Spring Cloud、RabbitMQ、Dubbo 、MyBatis 、ZooKeeper 、数据结构、算法、Elasticsearch 、Kafka 、微服务、Linux。

这不，马上就要到招聘季了，很多朋友又开始准备“金三银四”的春招啦，那我想这份“java高分面试指南”应该起到不小的作用，所以今天想给大家分享一下。

请注意：关于这份“java高分面试指南”，每一个方向专题（25个）的题目这里几乎都会列举，在不看答案的情况下，大家可以自行测试一下水平且由于篇幅原因，这边无法展示所有完整的答案解析

）的题目这里几乎都会列举，在不看答案的情况下，大家可以自行测试一下水平且由于篇幅原因，这边无法展示所有完整的答案解析

资料领取方式：点击【java高分面试指南-25大专题分类】

Java性能优化推荐书！RocketMQ消息丢失场景及解决办法相关推荐

RocketMQ 消息丢失场景及解决办法
点击上方蓝色"程序猿DD",选择"设为星标" 回复"资源"获取独家整理的学习资料! 来源 | blog.csdn.net/LO_YUN/ar ...
RocketMQ消息丢失场景及解决办法
作者:霁云HYY 来源:https://blog.csdn.net/LO_YUN/article/details/103949317 既然在项目中使用了MQ,那么就不可避免的需要考虑消息丢失问题.在一 ...
RocketMQ消息丢失场景及解决办法，已拿offer入职
前言当前我们都会说SpringBoot是Spring框架对"约定优先于配置理念的最佳实践的产物,一个典型的SpringBoot应用本质上其实就是一个基于Spring框架的应用,而如果大家对 ...
Java性能优化推荐书！java原生开发是什么意思
01 前言辛苦奋斗两个月,秋招终于圆满收官,拿到了头条.字节.菜鸟.腾讯.网易的offer,这要多亏了意外得到的这份资料文档,这么多面试全都靠它了,哈哈~~有好东西还是要分享出来给大家,一起学习呀 ...
RocketMQ 消息丢失场景分析及如何解决！
本文来源:https://blog.csdn.net/LO_YUN/article/details/103949317 既然在项目中使用了MQ,那么就不可避免的需要考虑消息丢失问题.在一些涉及到了金钱 ...
消息中间件学习总结（21）——RocketMQ 消息丢失场景分析及如何解决！
项目中使用了MQ,那么就不可避免的需要考虑消息丢失问题.在一些涉及到了金钱交易的场景下,消息丢失还是很致命的.那么在RocketMQ中存在哪几种消息丢失的场景呢?先来一张最简单的消费流程图: 上图中大 ...
Java性能优化推荐书！mongodbmysql迁移
所以,我认为在你选择之前不妨好好想想什么是Java?你适不适合从事这份工作? Java开发是近20多年来最热门的编程语言,就业市场确实比较大,入门的难度也比C和C++要低,结合各方面来说,你选择Jav ...
Java性能优化推荐书！JAVA-注解的基本原理
##注解的本质「java.lang.annotation.Annotation」接口中有这么一句话,用来描述『注解』. The common interface extended by all an ...
拉勾教育 | Java 性能优化实战 21 讲
开篇词开篇词 | Java 性能优化,是进阶高级架构师的炼金石你好,我是李国.作为<Java 性能优化与面试 21 讲>这个课程的作者,我先来简单介绍下自己. 我曾任京东金融.陌陌科技 ...

Java性能优化推荐书！RocketMQ消息丢失场景及解决办法

最后

Java性能优化推荐书！RocketMQ消息丢失场景及解决办法相关推荐

最新文章

热门文章