MQTTMessage Queuing Telemetry Transport消息队列遥测传输协议),是一种基于发布/订阅(publish/subscribe)模式的"轻量级"通讯协议,该协议构建于TCP/IP协议上,由IBM在1999年发布。MQTT最大优点在于,可以以极少的代码和有限的带宽,为连接远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用的即时通讯协议,使其在物联网、小型设备、移动应用等方面有较广泛的应用。

MQTT是一个基于客户端-服务器的消息发布/订阅传输协议。MQTT协议是轻量、简单、开放和易于实现的。

GitHub地址:
GitHub - mcxiaoke/mqtt: MQTT协议3.1.1中文翻译版,IoT,物联网

发布订阅模式是传统 Client/Server 模式的一种解耦方案。发布者通过 Broker 与消费者之间通信,Broker 的作用是将收到的消息通过某种过滤规则(Topic,正确地发送给消费者。发布/订阅模式 相对于 客户端/服务器模式 的好处在于:

1、发布者和消费者之间不必预先知道对方的存在,比如不需要预先沟通对方的 IP Address 和 Port

2、发布者和消费者之间不必同时运行。因为 Broker 是一直运行的

在 MQTT 协议里,过滤规则 是 Topic。如:所有发布到 news 这个 Topic 的消息,都会被 Broker 转发给已经订阅了 news 的订阅者

订阅者预先订阅了 news,然后发布者向 Broker 发布了一条消息 "some msg" 并指定发布到 news 主题,Broker 通过 Topic 匹配,决定将这条消息转发给订阅者

一、MQTT协议原理

1、MQTT协议实现方式

实现MQTT协议需要客户端和服务器端通讯完成,在通讯过程中,MQTT协议中有三种身份:发布者(Publish)、代理(Broker)(服务器)、订阅者(Subscribe)。其中,消息的发布者和订阅者都是客户端,消息代理是服务器,消息发布者可以同时是订阅者。

MQTT传输的消息分为:主题(Topic)和负载(payload)两部分:

(1)Topic,可以理解为消息的类型,订阅者订阅(Subscribe)后,就会收到该主题的消息内容(payload);

(2)payload,可以理解为消息的内容,是指订阅者具体要使用的内容。

2、网络传输与应用消息

MQTT会构建底层网络传输:它将建立客户端到服务器的连接,提供两者之间的一个有序的、无损的、基于字节流的双向传输。

当应用数据通过MQTT网络发送时,MQTT会把与之相关的服务质量(QoS)和主题名(Topic)相关连。

3、MQTT客户端

一个使用MQTT协议的应用程序或者设备,它总是建立到服务器的网络连接。客户端可以:

(1)发布其他客户端可能会订阅的信息;

(2)订阅其它客户端发布的消息;

(3)退订或删除应用程序的消息;

(4)断开与服务器连接。

4、MQTT服务器

MQTT服务器以称为"消息代理"(Broker),可以是一个应用程序或一台设备。它是位于消息发布者和订阅者之间,它可以:

(1)接受来自客户的网络连接;

(2)接受客户发布的应用信息;

(3)处理来自客户端的订阅和退订请求;

(4)向订阅的客户转发应用程序消息。

5、MQTT协议中的订阅、主题、会话

一、订阅(Subscription)

订阅包含主题筛选器(Topic Filter)和最大服务质量(QoS)。订阅会与一个会话(Session)关联。一个会话可以包含多个订阅。每一个会话中的每个订阅都有一个不同的主题筛选器。

二、会话(Session)

每个客户端与服务器建立连接后就是一个会话,客户端和服务器之间有状态交互。会话存在于一个网络之间,也可能在客户端和服务器之间跨越多个连续的网络连接。

三、主题名(Topic Name)

连接到一个应用程序消息的标签,该标签与服务器的订阅相匹配。服务器会将消息发送给订阅所匹配标签的每个客户端

MQTT 的 Topic 有层级结构,并且支持通配符 + 和 #:

+是匹配单层的通配符。比如 news/+ 可以匹配 news/sports,news/+/basketball 可匹配到 news/sports/basketball
# 是一到多层的通配符。比如 news/# 可以匹配 news、 news/sports、news/sports/basketball 以及 news/sports/basketball/x 等等

MQTT 的主题是不要预先创建的,发布者发送消息到某个主题、或者订阅者订阅某个主题的时候,Broker 就会自动创建这个主题

四、主题筛选器(Topic Filter)

一个对主题名通配符筛选器,在订阅表达式中使用,表示订阅所匹配到的多个主题。

五、负载(Payload)

消息订阅者所具体接收的内容。

6、MQTT协议中的方法

MQTT协议中定义了一些方法(也被称为动作),来于表示对确定资源所进行操作。这个资源可以代表预先存在的数据或动态生成数据,这取决于服务器的实现。通常来说,资源指服务器上的文件或输出。主要方法有:

(1)Connect。等待与服务器建立连接。

(2)Disconnect。等待MQTT客户端完成所做的工作,并与服务器断开TCP/IP会话。

(3)Subscribe。等待完成订阅。

(4)UnSubscribe。等待服务器取消客户端的一个或多个topics订阅。

(5)Publish。MQTT客户端发送消息请求,发送完成后返回应用程序线程。

二、MQTT协议数据包结构

在MQTT协议中,一个MQTT数据包由:固定头(Fixed header)、可变头(Variable header)、消息体(payload)三部分构成。MQTT数据包结构如下:

(1)固定头(Fixed header)。存在于所有MQTT数据包中,表示数据包类型及数据包的分组类标识。

(2)可变头(Variable header)。存在于部分MQTT数据包中,数据包类型决定了可变头是否存在及其具体内容。

(3)消息体(Payload)。存在于部分MQTT数据包中,表示客户端收到的具体内容

整体MQTT的消息格式如下图所示

1、MQTT固定头

固定头存在于所有MQTT数据包中,其结构如下:

1.1、MQTT数据包类型

位置:**byte 1, bits 7-4

相于一个4位的无符号值,类型、取值及描述如下:

1.2、标识位/ DUP

位置:**byte 1, bits 3-0

在不使用标识位的消息类型中,标识位被作为保留位。如果收到无效的标志时,接收端必须关闭网络连接:

(1)DUP:发布消息的副本。用来在保证消息的可靠传输,如果设置为1,则在下面的变长中增加MessageId,并且需要回复确认,以保证消息传输完成,但不能用于检测消息重复发送。

(2)QoS:发布消息的服务质量,即:保证消息传递的次数

QoS等级主要有3个等级QoS1、QoS2、QoS3

  • QoS0:最多一次。应用层表现为最多收到一次消息。底层只依赖于系统协议栈TCP的传输,服务端不缓存应用消息,如果socket断开则消息丢失。QoS0与直接使用TCP的效果一致。
  • QoS1:最少一次。应用层表现为收到一次消息或者收到多次相同的消息。在TCP的基础上增加消息确认机制,服务端缓存应用消息,在收到应用消息的PUBACK报文之前,会一直尝试重连和重传。
  • QoS2:必定一次。应用层表现为必定只收到一次消息,在TCP的基础上增加消息的三步确认机制,服务端缓存应用消息,同时增加序号管理,相比QoS1应用层不会出现收到多次相同的消息的情况,但是会占用更多的内存和带宽
Ø00:最多一次,即:<=1Ø01:至少一次,即:>=1Ø10:一次,即:=1Ø11:预留

QoS1和Qos2确保消息到达的前提是会话没有断开。当内存不足或软硬件异常发生时,服务端可能会断开会话,清空会话状态。(MQTT v5.0 版本,增加了会话断开超时选项,允许服务端主动终止长时间网络断开的会话)

(3)RETAIN: 发布保留标识,表示服务器要保留这次推送的信息,如果有新的订阅者出现,就把这消息推送给它,如果设有那么推送至当前订阅者后释放。

1.3 剩余长度(Remaining Length)

地址:Byte 2。

固定头的第二字节用来保存变长头部和消息体的总大小的,但不是直接保存的。这一字节是可以扩展,其保存机制,前7位用于保存长度,后一部用做标识。当最后一位为1时,表示长度不足,需要使用二个字节继续保存。例如:计算出后面的大小为0

2、MQTT可变头

MQTT数据包中包含一个可变头,它驻位于固定的头和负载之间。可变头的内容因数据包类型而不同,较常的应用是作为包的标识:

很多类型数据包中都包括一个2字节的数据包标识字段,这些类型的包有:

PUBLISH (QoS > 0)、PUBACK、PUBREC、PUBREL、PUBCOMP、SUBSCRIBE、SUBACK、UNSUBSCRIBE、UNSUBACK。

3、Payload消息体

Payload消息体位MQTT数据包的第三部分,包含CONNECT、SUBSCRIBE、SUBACK、UNSUBSCRIBE四种类型的消息:

(1)CONNECT,消息体内容主要是:客户端的ClientID、订阅的Topic、Message以及用户名和密码。

(2)SUBSCRIBE,消息体内容是一系列的要订阅的主题以及QoS。

(3)SUBACK,消息体内容是服务器对于SUBSCRIBE所申请的主题及QoS进行确认和回复。

(4)UNSUBSCRIBE,消息体内容是要订阅的主题

MQTT 的主要消息类型有:

项目 报文流动方向 描述
CONNECT 1 客户端到服务端 客户端请求连接服务端
CONNACK 2 服务端到客户端 连接报文确认
PUBLISH 3 两个方向都允许 发布消息
PUBACK 4 两个方向都允许 QoS 1消息发布收到确认
PUBREC 5 两个方向都允许 发布收到(保证交付第一步)
PUBREL 6 两个方向都允许 发布释放(保证交付第二步)
PUBCOMP 7 两个方向都允许 QoS 2消息发布完成(保证交互第三步)
SUBSCRIBE 8 客户端到服务端 客户端订阅请求
SUBACK 9 服务端到客户端 订阅请求报文确认
UNSUBSCRIBE 10 客户端到服务端 客户端取消订阅请求
UNSUBACK 11 服务端到客户端 取消订阅报文确认
PINGREQ 12 客户端到服务端 心跳请求
PINGRESP 13 服务端到客户端 心跳响应
DISCONNECT 14 客户端到服务端 客户端断开连接

其中0、15作为保留值, PINGREQ / PINGRESP 和 DISCONNECT 报文是不需要可变头部的,也没有 Payload,也就是说它们的报文大小仅仅消耗 2 个字节

三、MQTT与消息队列的区别

1、MQTT 并不要求发布或者订阅之前显式地创建主题,唯一可能造成的不良影响是客户端可能使用错误的主题而不自知,但显然灵活部署带来的收益更高

2、消息队列主要用于服务端应用之间的消息存储与转发,这类场景往往数据量大但接入量少,而 MQTT 面向的是 IoT 领域和移动互联网领域,这类场景的侧重点是海量的设备接入、管理与消息传输

代理作为发布订阅模式的关键角色,它需要准确、高效地向订阅者转发其期望的消息,一般来说,比较常用的有以下两种方式:

1、根据主题。订阅者向代理订阅自己感兴趣的主题,发布者发布的所有消息中都会包含自己的主题,代理根据消息的主题判断需要将消息转发给哪些订阅者

2、根据消息内容。订阅者定义其感兴趣的消息的条件,只有当消息的属性或内容满足订阅者定义的条件时,消息才会被投递到该订阅者。严格来讲,主题也可以算是消息内容的一种

开源 MQTT 服务器如何选择

到目前为止,比较流行的开源 MQTT 服务器有几个:

  1. Eclipse Mosquitto

    使用 C 语言实现的 MQTT 服务器。Eclipse 组织还还包含了大量的 MQTT 客户端项目:Eclipse Paho | The Eclipse Foundation

  2. EMQX

    使用 Erlang 语言开发的 MQTT 服务器,内置强大的规则引擎,支持许多其他 IoT 协议比如 MQTT-SN、 CoAP、LwM2M 等。

  3. Mosca

    使用 Node.JS 开发的 MQTT 服务器,简单易用。

  4. VerneMQ

    同样使用 Erlang 开发的 MQTT 服务器.

MQTT - 消息队列遥测传输协议相关推荐

  1. 互联网协议 — MQTT 消息队列遥测传输协议

    目录 文章目录 目录 MQTT MQTT 的设计原则 MQTT 的实现原理 MQTT 的关键术语 MQTT 的方法 MQTT 报文结构 Linux MQTT Server Android MQTT C ...

  2. MQTT——具有.NET Core的消息队列遥测传输协议

    目录 介绍 什么是MQTT REST是什么? 体系结构 有效载荷 安全 代码样例 代理 发布者 订阅者 执行 概要 Git存储库链接 参考文献 介绍 发布/订阅模式是解耦软件的常见要求.有各种可用的技 ...

  3. 消息队列遥测传输(MQTT)介绍

    消息队列遥测传输(MQTT)是一种ISO标准消息传递协议,旨在通过不可靠的网络连接传感器.它在TCP/IP互联网协议之上工作. 两位工程师Andy Stanford-Clark和Arlen Nippe ...

  4. MQTT(Message Queuing Telemetry Transport,消息队列遥测传输)协议

    简介 mqtt有IBM公司开发,90年代的产物. 解决了如下问题:服务器必须要实现成千上万的接入:单词数据量小,不能出错:必须能够使用高延迟.偶尔断网等通信不可靠的风险:根据数据的重要程度和特性,设置 ...

  5. java mqtt客户端_MQTT消息队列遥测传输

    说实话这个折腾了我好久好久,我才知道,原来学习不是最痛苦的,学习却学不会才是最痛苦的事.生产者将消息发布到一个主题,消费者从该协议里读取数据,MQTT是为IoT物联网通信设计的协议,MQTT使物联网低 ...

  6. tcp实时传输kafka数据_将物联网数据和MQTT消息流式传输到Apache Kafka

    Apache Kafka是一个实时流媒体平台,在大型和小型组织中得到广泛采用.Kafka的分布式微服务架构和发布/订阅协议使其成为在企业系统和应用程序之间移动实时数据的理想选择.据一些人称,超过三分之 ...

  7. 使用 WebSocket 客户端连接 MQTT 服务器/vue 项目使用mqtt消息队列实现推送

    简介 近年来随着 Web 前端的快速发展,浏览器新特性层出不穷,越来越多的应用可以在浏览器端或通过浏览器渲染引擎实现,Web 应用的即时通信方式 WebSocket 得到了广泛的应用. WebSock ...

  8. MQTT消息队列压力测试

    环境准备: jmeter插件下载: mqttxmeter1.0.1jarwithdependencies.jar 把MQTT插件放在 %JMeter_Home%/lib/ext下.重启jmeter. ...

  9. 一种MQTT客户端消息队列的设计

    MQTT 简介 MQTT(消息队列遥测传输)是ISO 标准(ISO/IEC PRF 20922)下基于发布/订阅范式的消息协议.它工作在 TCP/IP协议族上,是为硬件性能低下的远程设备以及网络状况糟 ...

最新文章

  1. UVA 1471 Defense Lines 防线 (LIS变形)
  2. java反射机制(三)---java的反射和代理实现IOC模式 模拟spring
  3. 支付宝返回参数说明(转)
  4. 服务器安装安卓模拟器_安卓模拟器多开选择的服务器-BGP显卡物理机
  5. Arch报错日志ACPI BIOS Error (bug): Failure creating named object“INFO: task kworker/2:1H:107 blocked“
  6. Ubuntu常用命令汇总
  7. 内存卡坏了怎么修复?内存卡恢复也不难
  8. 阿里百川HotFix的使用
  9. 快来:互联网内容运营人员的文案写作技巧
  10. fatal: detected dubious ownership in repository at ‘D:/‘之解决方法
  11. 西游记中会七十二变的三个人
  12. Duplicated tag: ‘mirrors‘ (position: START_TAG seen ...erred\r\n
  13. C++ ID3决策树
  14. 1.Python基础-本地安装
  15. 《TCP/IP详解卷1:协议》——第2章:链路层(转载)
  16. LES07 :JNI编程
  17. 科学计算机计算坐标编程,Calculator科学计算器的教程
  18. 【超详细Scratch教学课件分享】简单倒计时
  19. websocket redis 单用户多端登录 发送通知 nginx负载均衡
  20. ccproject西西进度计划编制软件最新版11.35发布

热门文章

  1. C语言和JAVA的关联
  2. Linux centos7 DNS服务器基于bind正反解析服务的搭建
  3. SOA Presentation - SOA概念介绍
  4. 如何防止抄袭PCB电路板
  5. http://www.hi-donet.com/网站
  6. 人工智能导论:清览作业
  7. Kafka Broker
  8. 一英寸芯片大小_CCD芯片尺寸
  9. javascript无限请求_SockJS - 重新连接后无限xhr-streaming呼叫
  10. 区域云LIS检验系统源码 商业级LIS全套源代码 预留标准HIS、仪器数据接入接口