超大消息传输

更新时间：2016-11-23 17:16:08

问题背景

阿里云消息服务MNS的队列的消息大小最大限制是64K，这个限制基本能够满足在正常情况下消息作为控制流信息交换通道的需求。但是，在某些特殊场景下，消息数据比较大时，就只能采用消息分片的方式。

那么如何能够基于MNS，又不做消息切片，传递大于64K的消息呢？解法是有的。

解决方案

1.生产者在往MNS 发送消息前，如果发现消息体大于64K，则先将消息体数据上传到OSS上；

2.然后，生产者把数据对应的Objcet信息作为消息发送到MNS上；

3.消费者从MNS队列里读取消息，判断消息内容是否为OSS的Object信息；

4.如果消息内容是OSS的Object信息，则从OSS下载对应的object内容，并作为消息体返回给上层程序；

5.对于大小小于64K的消息，仍然直接走MNS。

具体过程如下图所示：

程序实现

大消息示例代码提供了上述方案的一个Java语言版实现。主要功能都封装成类：BigMessageSizeQueue

BigMessageSizeQueue提供的public方法如下：

publicBigMessageSizeQueue(CloudQueue cq,OSSClient ossClient,String ossBucketName)
//构造函数，cq为普通的mnsqueue对象，ossClient和ossBucketName包含了大消息中转的oss region和bucket
publicMessage putMessage(Message message)// 发送消息
publicMessage popMessage(int waitSeconds)// 接收消息
publicvoid deleteMessage(String receiptHandle)//删除消息
publicvoid setBigMessageSize(long bigMessageSize)//设置大消息的阈值（大于这个值的消息会走OSS），默认64K；
publicvoid setNeedDeleteMessageObjectOnOSSFlag(boolean flag)// 设置是否需要删除OSS上的消息，默认yes；

具体使用示例代码请参考附件中Demo.java中的代码。

注意事项

1.大消息主要消息网络带宽，用该方案发送大size消息时，生产者和消费者的网络带宽可能会是瓶颈。

2.大消息网络传输时间较长，受网络波动影响的概率更大，建议在上层做必要的重试。

阿里mns超大消息传输相关推荐

最佳实践：如何基于MNS和OSS实现无大小限制的消息传输
问题背景阿里云消息服务MNS的队列的消息大小最大限制是64K,这个限制基本能够满足在正常情况下消息作为控制流信息交换通道的需求.但是,在某些特殊场景下,消息数据比较大时,就只能采用消息分片的方式. ...
php集成阿里MNS消息服务
一.使用背景请看下图: (1)服务端发布消息给物联网套件.设备从物联网套件订阅消息. (2)设备发布消息到物联网套件,物联网转发消息到MNS消息服务,防止设备发布消息过多.服务端从MNS队列中获取设 ...
springboot集成阿里MNS消息队列发布订阅消息功能
声明: 上一篇文章是springboot集成阿里ons发布订阅消息,此篇文章是mns发布订阅功能先简单记录一下ons与mns有什么区别这里是在网上找的对比图: 此处为具体区别文章链接:点击打开链接 ...
阿里MNS服务：代码显示成功并可以得到消息id及其md5，手机却收不到短信
最近在做一个PHP开发的后台项目,BOSS要求短信验证码使用阿里的MNS服务.于是在阿里查看了DEMO并编写验证码需求. 在阿里设置的短信模版为: "你好,你本次注册实训平台的用户名为:${ ...
区块链亲民应用场景大猜想第一次或将献给超大文件传输
区块链亲民应用场景大猜想第一次或将献给超大文件传输提及区块链,相信大部分人既熟悉又陌生,熟悉是因为比特币这些年的跌宕起伏,让人蠢蠢欲动却又望而生畏:陌生是因为这是一个全新的东西,并没有走进寻常百姓 ...
启发:从MNS事务消息谈分布式事务
启发:从MNS事务消息谈分布式事务事务消息本质上解决的问题是业务系统与消息系统之间的事务问题(跨系统分布式事务),其基本原理即两阶段提交以及最终一致性保障.最近看了下阿里云mns事务消息的实现原理, ...
阿里MNS、OSS 和亚马逊 SQS、S3对比
主要是阿里云和亚马逊对比,其他的厂家略微提一下. 主要是对比的云存储.消息队列服务 1.阿里OSS vs亚马逊 S3云存储 a.接口对比 :阿里云和亚马逊接口差不多基本参数:endpoint 存 ...
C#实现阿里云微消息队列LMQ
本文属于个人原创作品.个人总结,谢绝转载.抄袭.如果您有疑问或者希望沟通交流,可以联系QQ:865562060. 一.简介 MQ 微消息队列(Light Message Queue,简称 LMQ): ...
图解：消息传输的架构模式
从概念上讲,一条消息是一个发送方与一个或多个接收方之间的一次信息交换.自从大型机问世以来,消息交换一直是计算机编程和架构设计的重要组成部分. 多年来,消息传输的实践已经发展成多种消息传输模式.在本文中 ...

阿里mns超大消息传输