docker-compose部署Redis-Cluster集群

环境安装

linux ：centos 7

docker ：19.03.3

docker-compose：1.24.1

创建目录和编排文件

2.然后分别创建文件夹 6000-6005（以节点端口号命名的）

3.创建 docker-compose.yaml 文件

4.在各个端口目录下创建data目录和redis.conf配置文件

创建完成目录结构如下:

redis目录结构

编写redis.conf 配置文件

#端口
port 6000##run in background 必须是no
daemonize no##enable redis-cluster
cluster-enabled yes##cluster node config file name
cluster-config-file nodes_6000.conf## timeout
tcp-keepalive 300
timeout 0##aof
appendonly yes#当daemonize = yes时候才会生效
pidfile /var/run/redis_6000.pid#log
#日志等级
loglevel notice
#日志文件存放路径
logfile "redis_6000.log"#集群对外ip
cluster-announce-ip 机器ip

每个节点的配置只需改变端口。

docker-compose.yaml 配置文件

version: '3.4'
services:node1:image: redis:5.0.5container_name: redis-node1restart: alwaysports:- 6000:6000- 16000:16000volumes:- /home/gwms/redis/6000/data:/data- /home/gwms/redis/6000:/usr/local/etc/rediscommand:redis-server /usr/local/etc/redis/redis.confnode2:image: redis:5.0.5container_name: redis-node2restart: alwaysports:- 6001:6001- 16001:16001volumes:- /home/gwms/redis/6001/data:/data- /home/gwms/redis/6001:/usr/local/etc/rediscommand:redis-server /usr/local/etc/redis/redis.confnode3:image: redis:5.0.5container_name: redis-node3restart: alwaysports:- 6002:6002- 16002:16002volumes:- /home/gwms/redis/6002/data:/data- /home/gwms/redis/6002:/usr/local/etc/rediscommand:redis-server /usr/local/etc/redis/redis.confnode4:image: redis:5.0.5container_name: redis-node4restart: alwaysports:- 6003:6003- 16003:16003volumes:- /home/gwms/redis/6003/data:/data- /home/gwms/redis/6003:/usr/local/etc/rediscommand:redis-server /usr/local/etc/redis/redis.confnode5:image: redis:5.0.5container_name: redis-node5restart: alwaysports:- 6004:6004- 16004:16004volumes:- /home/gwms/redis/6004/data:/data- /home/gwms/redis/6004:/usr/local/etc/rediscommand:redis-server /usr/local/etc/redis/redis.confnode6:image: redis:5.0.5container_name: redis-node6restart: alwaysports:- 6005:6005- 16005:16005volumes:- /home/gwms/redis/6005/data:/data- /home/gwms/redis/6005:/usr/local/etc/rediscommand:redis-server /usr/local/etc/redis/redis.conf

编写完成后，在redis目录下执行 docker-compose up -d 启动容器。然后通过docker ps 命令查看redis进程是否正常，我在安装时候遇到一些坑，下文我会详细描述。

状态是up 就是启动正常了。

创建集群

目前只是启动了六个实例，并没有组成集群。

进入任意一个Redis节点容器，命令如下：

docker exec -it redis-node1 bash

继续执行以下命令创建集群：

redis-cli  --cluster create ip:6000 ip:6001 ip:6002 ip:6003 ip:6004 ip:6005 --cluster-replicas 1

其中ip 为服务器ip

命令执行结果如下：遇到yes 选择yes。

Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 10.35.30.39:6375 to 10.35.30.39:6371
Adding replica 10.35.30.39:6376 to 10.35.30.39:6372
Adding replica 10.35.30.39:6374 to 10.35.30.39:6373
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: e9a35d6a9d203830556de89f06a3be2e2ab4eee1 10.35.30.39:6371slots:[0-5460] (5461 slots) master
M: 0c8755144fe6a200a46716371495b04f8ab9d4c8 10.35.30.39:6372slots:[5461-10922] (5462 slots) master
M: fcb83b0097d2a0a87a76c0d782de12147bc86291 10.35.30.39:6373slots:[10923-16383] (5461 slots) master
S: b9819797e98fcd49f263cec1f77563537709bcb8 10.35.30.39:6374replicates fcb83b0097d2a0a87a76c0d782de12147bc86291
S: f4660f264f12786d81bcf0b18bc7287947ec8a1b 10.35.30.39:6375replicates e9a35d6a9d203830556de89f06a3be2e2ab4eee1
S: d2b9f265ef7dbb4a612275def57a9cc24eb2fd5d 10.35.30.39:6376replicates 0c8755144fe6a200a46716371495b04f8ab9d4c8
Can I set the above configuration? (type 'yes' to accept): yes # 这里输入 yes 并回车 确认节点 主从身份 以及 哈希槽的分配
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
.
>>> Performing Cluster Check (using node 10.35.30.39:6371)
M: e9a35d6a9d203830556de89f06a3be2e2ab4eee1 10.35.30.39:6371slots:[0-5460] (5461 slots) master1 additional replica(s)
M: 0c8755144fe6a200a46716371495b04f8ab9d4c8 10.35.30.39:6372slots:[5461-10922] (5462 slots) master1 additional replica(s)
S: b9819797e98fcd49f263cec1f77563537709bcb8 10.35.30.39:6374slots: (0 slots) slavereplicates fcb83b0097d2a0a87a76c0d782de12147bc86291
M: fcb83b0097d2a0a87a76c0d782de12147bc86291 10.35.30.39:6373slots:[10923-16383] (5461 slots) master1 additional replica(s)
S: f4660f264f12786d81bcf0b18bc7287947ec8a1b 10.35.30.39:6375slots: (0 slots) slavereplicates e9a35d6a9d203830556de89f06a3be2e2ab4eee1
S: d2b9f265ef7dbb4a612275def57a9cc24eb2fd5d 10.35.30.39:6376slots: (0 slots) slavereplicates 0c8755144fe6a200a46716371495b04f8ab9d4c8
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

到目前为止集群就搭建完毕了，进入任意一个容器执行如下命令，查看集群状态

1.docker exec -it redis-node1 /bin/bash

2.redis-cli -p 6000 -h 173.17.0.1 cluster info

此时集群状态是 ok ，节点数也是正常的。

遇到的坑

1.redis.conf 配置文件中 daemonize 如果为yes会和 docker-compose.yaml中restart: always配置冲突，导致执行 docker-compose up -d 命令后通过 docker ps查看redis进程一直在restaring中。

2.redis.conf 配置文件中“cluster-config-file” 和 “logfile”，之前配置了子目录，如下：

cluster-config-file config/nodes_6000.conf
logfile "log/redis_6000.log"

这样也同样会导致，启动时候无限重启的问题，目前我不知道怎么解决，只好去除了子目录。

这个大家有啥解决方案吗，希望大佬们留言告诉我。

去除子目录后，生成的这些文件都在容器的/data目录下，由于我们在docker-compose.yaml中对磁盘做了如下映射：

volumes:- /home/gwms/redis/6000/data:/data

所以这些生成的文件，我们可以在宿主机中的redis-> 端口文件夹->data中找到。

3.cluster-announce-ip 配置

第一次该配置没有写，结果是集群创建后，节点1 使用的是机器ip，而其他节点使用的是br-2a8667af806这个网卡的ip，导致的问题是，当客户端连接reids服务后，你设置一个key，如果路由到其他节点，此时连接的ip 会变成该网卡的ip，从而客户端无法连接上，我们期望的是，路由后的节点ip依旧是是机器ip，所以我在redis.conf中加入了该配置，代表各个节点对外的ip地址是多少，从而解决了相关问题。

spring boot 集成redis

spring boot 项目中集成redis集群配置，进行简单的测试。

额外说明

1.restart: always 表示docker重启后，容器跟着一起重启，相当于开机启动。

2.boot 项目如果我们用了连接池，并且我们设置了：“连接池中的最小空闲连接”，那么服务启动完成后短暂延迟会会和各个节点创建我们设置数量的连接，如果节点最大连接数小于我们配置数，那么能创建多少创建多少。