4.图灵学院-----阿里/京东/滴滴/美团整理----高频MQ消息队列篇

一、MQ有什么用？有哪些具体的使用场景？

MQ： MessageQueue，消息队列。队列是一种FIFO先进先出的数据结构。消息
由生产者发送到MQ进行排队，然后由消费者对消息进行处理。QQ、微信就是典
型的MQ场景。
MQ的作用主要有三个方面：
1、异步：
例子：快递。快递员-> 菜鸟驿站<- 客户
作用：异步能提高系统的响应速度和吞吐量。
2、解耦：
例子：《Thinking in java》 -> 编辑社
作用：服务之间进行解耦，可以减少服务之间的影响，提高系统的稳定性和可扩展性。
另外，解耦之后可以实现数据分发。生产者发送一个消息后，可以由多个消费者来
处理。 例如java程序调用python程序，利用消息来处理。
3、削峰：
例子：长江涨水->三峡大坝
作用：以稳定的系统资源应对突发的流量冲击。
MQ的缺点：
1、系统可用性降低：一旦MQ宕机，整个业务就会产生影响。高可用
2、系统的复杂度提高：引入MQ之后，数据链路就会变得很复杂。如何保证消息不
丢失？消息不会重复调用？怎么保证消息的顺序性？、、、、、
3、数据一致性： A系统发消息，需要由B、C两个系统一同处理。如果B系统处理成
功、C系统处理失败，这就会造成数据一致性的问题。

二、如何进行产品选型？

1.Kafka
优点：吞吐量非常大，性能非常好，集群高可用。
缺点：会丢数据，功能比较单一。
使用场景：日志分析、大数据采集
2.RabbitMQ
优点：消息可靠性高，功能全面。
缺点：吞吐量比较低，消息积累会严重影响性能。erlang语言不好定制。
使用场景：小规模场景。
3.RocketMQ
优点：高吞吐、高性能、高可用，功能非常全面。
缺点：开源版功能不如云上商业版。官方文档和周边生态还不够成熟。客户端只支
持java。
使用场景：几乎是全场景。

三、如何保证消息不丢失？

1、哪些环节会造成消息丢失？
2、怎么去防止消息丢失。
2.1 生产者发送消息不丢失
kafka：消息发送+回调
RocketMQ： 1、消息发送+回调。2、事务消息。
RabbitMQ： 1、消息发送+回调
2、手动事务： channel.txSelect()开启事务， channel.txCommit()提交事务，
channel.txRollback()回滚事务。这种方式对channel是会产生阻塞的，造成吞吐量
下降。
3、Publisher Confirm。整个处理流程跟RocketMQ的事务消息，基本是一样
的。
2.2 MQ主从消息同步不丢失
RocketMQ：
1、普通集群中，同步同步、异步同步。异步同步效率更高，但是有丢消息的风险。同步同步就不会丢消息。
2、Dledger集群-两阶段提交：
RabbitMQ：普通集群：消息是分散存储的，节点之间不会主动进行消息同步，是
有可能丢失消息的。
镜像集群：镜像集群会在节点之间主动进行数据同步，这样数据安全性得到提
高。
Kafka：通常都是用在允许消息少量丢失的场景。acks。0，1，all
2.3 MQ消息存盘不丢失
RocketMQ：同步刷盘异步刷盘：异步刷盘效率更高，但是有可能丢消息。同步刷
盘消息安全性更高，但是效率会降低。
RabbitMQ：将队列配置成持久化队列。新增的Quorum类型的队列，会采用Raft
协议来进行消息同步。
2.4 MQ消费者消费消息不丢失
RocketMQ：使用默认的方式消费就行，不要采用异步方式。
RabbitMQ： autoCommit -> 手动提交offset
Kafka：手动提交offset

四、如何保证消息消费的幂等性？

其实就是要方式消费者重复消费消息的问题。
所有MQ产品并没有提供主动解决幂等性的机制，需要由消费者自行控制。
RocketMQ：给每个消息分配了个MessageID。这个MessageID就可以作为消费
者判断幂等的依据。这种方式不太建议。
最好的方式就是自己带一个有业务标识的ID，来进行幂等判断。OrderID统一ID分配。

五、如何保证消息的顺序？

全局有序和局部有序： MQ只需要保证局部有序，不需要保证全局有序。
生产者把一组有序的消息放到同一个队列当中，而消费者一次消费整个队列当中的
消息。
RocketMQ中有完整的设计，但是在RabbitMQ和Kafka当中，并没有完整的设计，
需要自己进行设计。
RabbitMQ：要保证目标exchange只对应一个队列。并且一个队列只对应一个消费
者。
Kafka: 生产者通过定制partition分配规则，将消息分配到同一个partition。 Topic
下只对应一个消费者。

六、如何保证消息的高效读写？

零拷贝： kafka和RocketMQ都是通过零拷贝技术来优化文件读写。
传统文件复制方式：需要对文件在内存中进行四次拷贝。

零拷贝：有两种方式， mmap和transfile
Java当中对零拷贝进行了封装， Mmap方式通过MappedByteBuffer对象进行操
作，而transfile通过FileChannel来进行操作。
Mmap 适合比较小的文件，通常文件大小不要超过1.5G ~2G 之间。
Transfile没有文件大小限制。
RocketMQ当中使用Mmap方式来对他的文件进行读写。commitlog。 1G
在kafka当中，他的index日志文件也是通过mmap的方式来读写的。在其他日志文
件当中，并没有使用零拷贝的方式。
kafka使用transfile方式将硬盘数据加载到网卡。

七、使用MQ如何保证分布式事务的最终一致性？

分布式事务：业务相关的多个操作，保证他们同时成功或者同时失败。
最终一致性：与之对应的就是强一致性
MQ中要保护事务的最终一致性，就需要做到两点
1、生产者要保证100%的消息投递。事务消息机制
2、消费者这一端需要保证幂等消费。唯一ID+ 业务自己实现幂等
分布式MQ的三种语义：
at least once
at most once
exactly once：
RocketMQ 并不能保证exactly once。商业版本当中提供了exactly once的实现
机制。
kafka：在最新版本的源码当中，提供了exactly once的demo。
RabbitMQ： erlang天生就成为了一种屏障。

八、让你设计一个MQ，你会如何设计？

两个误区： 1、放飞自我，漫无边际。 2、纠结技术细节。
好的方式： 1、从整体到细节，从业务场景到技术实现。2、以现有产品为基础。
RocketMQ
答题思路： MQ作用、项目大概的样子。
1、实现一个单机的队列数据结构。高效、可扩展。
2、将单机队列扩展成为分布式队列。- 分布式集群管理
3、基于Topic定制消息路由策略。- 发送者路由策略，消费者与队列对应关系，消
费者路由策略
4、实现高效的网络通信。- Netty Http
5、规划日志文件，实现文件高效读写。- 零拷贝，顺序写。服务重启后，快速还原
运行现场。
6、定制高级功能，死信队列、延迟队列、事务消息等等。 - 贴合实际，随意发挥。