一、MQ集群

1.1集群分类

RabbitMQ是基于Erlang语言编写的，而Erlang又是一个面向并发的语言，天然支持集群模式。RabbitMQ的集群有两种模式：

普通集群：时钟分布式集群，将队列分散到集群的各个节点，从而提高整个集群的并发能力。
镜像集群：是一种主从集群普通集群的基础上，添加了主从备份功能，提高了数据的可用性。

镜像集群虽然支持主从,但主从同步并不是强一致的，某些情况下可能有数据丢失的风险。因此在RabbitMQ3.8版本之后推出了仲裁队列来代替镜像集群，底层采用了Raft协议确保主从的数据一致性。

1.2 普通集群

1.2.1 集群结构和特征

普通集群，或则成为标准集群，具备以下特征：

会在集群的各个节点共享部分数据,包括：交换机、队列元信息。不包含队列中的消息。
当访问集群某节点时，如果队列不在该节点，会从数据所在节点传递到当前节点并返回
队列所在节点宕机，队列中的消息就会消失

结构图：

1.2.2部署集群

1.2.2.1普通模式

普通模式：普通模式集群不进行数据同步，每个MQ都有自己的队列、数据信息（其它元数据信息如交换机等会同步）。例如我们有2个MQ：mq1，和mq2，如果你的消息在mq1，而你连接到了mq2，那么mq2会去mq1拉取消息，然后返回给你。如果mq1宕机，消息就会丢失。
镜像模式：与普通模式不同，队列会在各个mq的镜像节点之间同步，因此你连接到任何一个镜像节点，均可获取到消息。而且如果一个节点宕机，并不会导致数据丢失。不过，这种方式增加了数据同步的带宽消耗。

先来看普通模式集群，我们的计划部署3节点的mq集群：
集群中的节点标示默认都是：rabbit@[hostname]，因此以上三个节点的名称分别为：

rabbit@mq1
rabbit@mq2
rabbit@mq3

1.2.2.2 获取Cookie

RabbitMQ底层依赖于Erlang，而Eelang虚拟机就是一个面向分布式的语言，默认就是支持集群模式。集群模式中的每个RabbitMQ节点使用cookie来确定他们是否被允许相互通信。
要使两个节点能够通信，他们必须具有相同的共享秘密，成为Erlang cookie。cookie只是一串最多255个字符的字母数字字符。
每个集群节点必须具备相同的cookie。是咧之间也需要他来相互同行。

我们现在值钱启动mq容器中获取一个cookie值，作为集群的cookie。执行下面命令：

docker exec -it mq cat /var/lib/rabbitmq/.erlang.cookie

可以看到cookie值如下：

FXZMCVGLBIXZCDEMMVZQ

接下来，停止并删除当前的mq容器，我们重新搭建集群。

docker rm -f mq

1.2.2.3 准备集群配置

cd /tmp
# 创建文件
touch rabbitmq.conf

文件内容如下：

loopback_users.guest = false
listeners.tcp.default = 5672
cluster_formation.peer_discovery_backend = rabbit_peer_discovery_classic_config
cluster_formation.classic_config.nodes.1 = rabbit@mq1
cluster_formation.classic_config.nodes.2 = rabbit@mq2
cluster_formation.classic_config.nodes.3 = rabbit@mq3

再创建一个文件，记录cookie

cd /tmp
# 创建cookie文件
touch .erlang.cookie
# 写入cookie
echo "FXZMCVGLBIXZCDEMMVZQ" > .erlang.cookie
# 修改cookie文件的权限
chmod 600 .erlang.cookie

准备三个目录,mq1、mq2、mq3：

cd /tmp
# 创建目录
mkdir mq1 mq2 mq3

然后拷贝rabbitmq.conf、cookie文件到mq1、mq2、mq3：

# 进入/tmp
cd /tmp
# 拷贝
cp rabbitmq.conf mq1
cp rabbitmq.conf mq2
cp rabbitmq.conf mq3
cp .erlang.cookie mq1
cp .erlang.cookie mq2
cp .erlang.cookie mq3

1.2.2.4 启动集群

创建一个网络，集群的运行要在同一个网络中完成。

docker network create mq-net

创建数据卷运行命令：

docker run -d --net mq-net \
-v ${PWD}/mq1/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
-v ${PWD}/.erlang.cookie:/var/lib/rabbitmq/.erlang.cookie \
-e RABBITMQ_DEFAULT_USER=chen \
-e RABBITMQ_DEFAULT_PASS=123456 \
--name mq1 \
--hostname mq1 \
-p 8071:5672 \
-p 8081:15672 \
rabbitmq:3.8-management

docker run -d --net mq-net \
-v ${PWD}/mq2/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
-v ${PWD}/.erlang.cookie:/var/lib/rabbitmq/.erlang.cookie \
-e RABBITMQ_DEFAULT_USER=chen\
-e RABBITMQ_DEFAULT_PASS=123456\
--name mq2 \
--hostname mq2 \
-p 8072:5672 \
-p 8082:15672 \
rabbitmq:3.8-management

docker run -d --net mq-net \
-v ${PWD}/mq3/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
-v ${PWD}/.erlang.cookie:/var/lib/rabbitmq/.erlang.cookie \
-e RABBITMQ_DEFAULT_USER=chen \
-e RABBITMQ_DEFAULT_PASS=123456\
--hostname mq3 \
-p 8073:5672 \
-p 8083:15672 \
rabbitmq:3.8-management

1.2.2.5 测试

在mq1这个节点上添加一个队列：
如图，在mq2和mq3两个控制台也都能看到：

1.2.2.6 数据共享测试

点击任意一个队列，进入管理页面：
然后利用控制台发送一条消息到这个队列：
结果在mq2、mq3上都能看到这条消息：

1.2.2.7 可用性测试

我们让其中一台节点mq1宕机：

docker stop mq1

然后登录mq2或mq3的控制台，发现simple.queue也不可用了：
说明数据并没有拷贝到mq2和mq3。

1.3 镜像集群

1.3.1集群结构和特征

镜像集群：本质是主从模式，具备下面特征：

交换机、队列、队列中的消息会在各个mq的镜像节点之间同步备份。
创建队列的节点被称为该队列的主节点，备份到其他节点叫做该队列的镜像节点。
一个队列的主节点可能是另一个队列的镜像节点
所有操作多事主节点完成，然后同步给镜像节点
主机宕机后，镜像节点会代替成为新的主节点

结构如图：

1.3.2 镜像集群的部署

在1.2.2的案例中，一旦创建队列的主机宕机，队列就会不可用。不具备高可用能力。如果要解决这个问题，必须使用官方提供的镜像集群方案。
官方文档地址：https://www.rabbitmq.com/ha.html

1.3.2.1 镜像模式的特征

默认情况下，队列只保存在创建该队列的节点上。而镜像模式下，创建队列的节点被称为该队列的主节点，队列还会拷贝到集群中的其它节点，也叫做该队列的镜像节点。

但是，不同队列可以在集群中的任意节点上创建，因此不同队列的主节点可以不同。甚至，一个队列的主节点可能是另一个队列的镜像节点。

用户发送给队列的一切请求，例如发送消息、消息回执默认都会在主节点完成，如果是从节点接收到请求，也会路由到主节点去完成。镜像节点仅仅起到备份数据作用。

当主节点接收到消费者的ACK时，所有镜像都会删除节点中的数据。
总结如下：

镜像队列结构是一主多从（从就是镜像）
所有操作都是主节点完成，然后同步给镜像节点
主宕机后，镜像节点会替代成新的主（如果在主从同步完成前，主就已经宕机，可能出现数据丢失）
不具备负载均衡功能，因为所有操作都会有主节点完成（但是不同队列，其主节点可以不同，可以利用这个提高吞吐量）

1.3.2.2 镜像模式的配置

镜像模式的配置有3种模式：
这里我们以rabbitmqctl命令作为案例来讲解配置语法。
语法实例：

1.3.2.3 exactly模式

rabbitmqctl set_policy ha-two "^two\." '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'

命令解读：

rabbitmqctl set_policy：固定写法
ha-two：策略名称，自定义
"^two\."：匹配队列的正则表达式，符合命名规则的队列才生效，这里是任何以two.开头的队列名称
'{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}': 策略内容
- "ha-mode":"exactly"：策略模式，此处是exactly模式，指定副本数量
- "ha-params":2：策略参数，这里是2，就是副本数量为2，1主1镜像
- "ha-sync-mode":"automatic"：同步策略，默认是manual，即新加入的镜像节点不会同步旧的消息。如果设置为automatic，则新加入的镜像节点会把主节点中所有消息都同步，会带来额外的网络开销

1.3.2.4 all模式

rabbitmqctl set_policy ha-all "^all\." '{"ha-mode":"all"}'

命令的解读

ha-all：策略名称，自定义
"^all\."：匹配所有以all.开头的队列名
'{"ha-mode":"all"}'：策略内容
- "ha-mode":"all"：策略模式，此处是all模式，即所有节点都会称为镜像节点

1.3.2.5 nodes模式

rabbitmqctl set_policy ha-nodes "^nodes\." '{"ha-mode":"nodes","ha-params":["rabbit@nodeA", "rabbit@nodeB"]}'

命令解读：

rabbitmqctl set_policy：固定写法
ha-nodes：策略名称，自定义
"^nodes\."：匹配队列的正则表达式，符合命名规则的队列才生效，这里是任何以nodes.开头的队列名称
'{"ha-mode":"nodes","ha-params":["rabbit@nodeA", "rabbit@nodeB"]}': 策略内容
- "ha-mode":"nodes"：策略模式，此处是nodes模式
- "ha-params":["rabbit@mq1", "rabbit@mq2"]：策略参数，这里指定副本所在节点名称

1.3.3测试

我们使用exactly模式的镜像，因为集群节点数量为3，因此镜像数量就设置为2.
运行命令：

docker exec -it mq1 rabbitmqctl set_policy ha-two "^two\." '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'

创建新队列：
在任意一个mq控制台查看队列：

1.3.4 测试数据共享

给two.queue发送一条消息：
然后在mq1、mq2、mq3的任意控制台查看消息：

1.3.5测试高可用

现在，我们让two.queue的主节点mq1宕机：

docker stop mq1

查看集群状态：

查看队列状态：

1.4 仲裁队列

1.4.1 集群特征

仲裁队列：仲裁队列是3.8版本以后才有的新功能，用来替代镜像队列，具备以下特征：

与镜像队列一样，都是主从模式，支持主从数据同步
使用非常简单没有复杂的配置
主从同步基于Raft协议，强一致性

1.4.2 部署

1.4.2.1 添加仲裁队列

在任意控制台添加一个队列，一定要选择队列类型为Quorum类型。
在任意控制台查看队列：

可以看到，仲裁队列的 + 2字样。代表这个队列有2个镜像节点。

因为仲裁队列默认的镜像数为5。如果你的集群有7个节点，那么镜像数肯定是5；而我们集群只有3个节点，因此镜像数量就是3.

1.4.2.2 测试

和对镜像集群的测试一样。

1.4.3 Java代码创建仲裁队列

@Bean
public Queue quorumQueue(){return QueueBuilder.durable("quorum.queue").quorum() .build();
}

1.4.4 SpringAMQP连接MQ集群

注意，这里使用address来代替host、port方式

spring:rabbitmq:addresses: 192.168.253.105:8071, 192.168.253.105:8072, 192.168.253.105:8073username: chenpassword: 123456virtual-host: /

1.4.5 集群的扩容

1.4.5.1 加入集群

1）启动一个新的MQ容器：

docker run -d --net mq-net \
-v ${PWD}/.erlang.cookie:/var/lib/rabbitmq/.erlang.cookie \
-e RABBITMQ_DEFAULT_USER=chen \
-e RABBITMQ_DEFAULT_PASS=123456 \
--name mq4 \
--hostname mq5 \
-p 8074:15672 \
-p 8084:15672 \
rabbitmq:3.8-management

2）进入容器控制台：

docker exec -it mq4 bash

3）停止mq进程

rabbitmqctl stop_app

4）重置RabbitMQ中的数据：

rabbitmqctl reset

5）加入mq1：

rabbitmqctl join_cluster rabbit@mq1

6）再次启动mq进程

rabbitmqctl start_app

1.4.5.2 增加仲裁队列副本

我们先查看下quorum.queue这个队列目前的副本情况，进入mq1容器：

docker exec -it mq1 bash

执行命令：

rabbitmq-queues quorum_status "quorum.queue"

结果：

现在，我们让mq4也加入进来：

rabbitmq-queues add_member "quorum.queue" "rabbit@mq4"

结果：
再次查看：

rabbitmq-queues quorum_status "quorum.queue"

查看控制台，发现quorum.queue的镜像数量也从原来的 +2 变成了 +3：

MQ消息队列（五）——RabbitMQ进阶 MQ集群+集群的部署+集群的扩容相关推荐

MQ消息队列之RabbitMQ的安装和原理
1. RabbitMQ安装 1.1 推荐方法:docker安装一行命令搞定: docker pull rabbitmq:management 开启宿主机与容器的两个重要的端口映射即可: docker ...
IM开发基础知识补课(五)：通俗易懂，正确理解并用好MQ消息队列
1.引言消息是互联网信息的一种表现形式,是人利用计算机进行信息传递的有效载体,比如即时通讯网坛友最熟悉的即时通讯消息就是其具体的表现形式之一. 消息从发送者到接收者的典型传递方式有两种: 1)一种我 ...
MQ消息队列详解、四大MQ的优缺点分析
MQ消息队列详解.四大MQ的优缺点分析前言面试题切入面试官心理分析面试题剖析 ①为什么要使用MQ 系统解耦异步调用流量削峰消息队列的优缺点四大主流MQ(kafka.ActiveMQ.R ...
多维度对比5款主流分布式MQ消息队列，妈妈再也不担心我的技术选型了
1.引言对于即时通讯网来说,所有的技术文章和资料都在围绕即时通讯这个技术方向进行整理和分享,这一次也不例外.对于即时通讯系统(包括IM.消息推送系统等)来说,MQ消息中件间是非常常见的基础软件,但市 ...
MQ消息队列之前置知识
目录一.前置知识二.MQ前置知识 1.MQ作用 2.MQ对比 3.MQ的缺点 4.产品选型一.前置知识当今互联网项目微服务架构成为主流,使用微服务架构,在高并发场景下,服务之间的通信问题是我们 ...
阿里云ACE共创空间——MQ消息队列产品测试
一.产品背景消息队列是阿里巴巴集团自主研发的专业消息中间件. 产品基于高可用分布式集群技术,提供消息订阅和发布.消息轨迹查询.定时(延时)消息.资源统计.监控报警等一系列消息云服务,是企业级互联网架 ...
MQ消息队列产品测试
2019独角兽企业重金招聘Python工程师标准>>> 一.产品背景消息队列是阿里巴巴集团自主研发的专业消息中间件. 产品基于高可用分布式集群技术,提供消息订阅和发布.消息轨迹查询 ...
MQ(消息队列)常见的应用场景解析
MQ(消息队列)常见的应用场景解析原文:MQ(消息队列)常见的应用场景解析前言提高系统性能首先考虑的是数据库的优化,之前一篇文章<数据库的使用你可能忽略了这些>中有提到过开发中,针对 ...
PHP面试要点——MQ消息队列
MQ消息队列常见的消息队列有RabbitMQ.kafka.redis RabbitMQ RabbitMQ是使用Erlang编写的一个开源消息队列,本身支持很多协议,实现了AMQP协议,重量级的.实现 ...
MQ消息队列中间件：
MQ消息队列中间件: 微服务间通讯有同步和异步两种方式: 同步通讯:就像打电话,需要实时响应. 异步通讯:就像发信息,不需要马上回复. 同步调用的优点: 时效性较强,可以立即得到结果同步调用的问题: ...

MQ消息队列（五）——RabbitMQ进阶 MQ集群+集群的部署+集群的扩容