Redis高可用集群Redis Cluster搭建
前言:
Redis3.0版本之前,可以通过Redis Sentinel(哨兵)来实现高可用 ( HA ),从3.0版本之后,官方推出了Redis Cluster,它的主要用途是实现数据分片(Data Sharding),不过同样可以实现HA,是官方当前推荐的方案。
在Redis Sentinel模式中,每个节点需要保存全量数据,冗余比较多,而在Redis Cluster模式中,每个分片只需要保存一部分的数据,对于内存数据库来说,还是要尽量的减少冗余。在数据量太大的情况下,故障恢复需要较长时间,另外,内存实在是太贵了。。。
Redis Cluster的具体实现细节是采用了Hash槽的概念,集群会预先分配16384个槽,并将这些槽分配给具体的服务节点,通过对Key进行CRC16(key)%16384运算得到对应的槽是哪一个,从而将读写操作转发到该槽所对应的服务节点。当有新的节点加入或者移除的时候,再来迁移这些槽以及其对应的数据。在这种设计之下,我们就可以很方便的进行动态扩容或缩容,个人也比较倾向于这种集群模式。
传送门:Redis Cluster官方介绍
当然,关于高可用的实现方案,也可以将这两种模式结合起来使用,不过比较复杂,不太推荐。
安装Redis:
关于Redis的具体安装步骤,这里就不再赘述了,由于Redis Cluster 模式需要3.0以上的版本支持,因此请确保您的Redis版本是3.0以上的。
查看Redis版本号:
[root@VM_0_15_centos src]# ./redis-cli -p 8002 info server
搭建集群:
Redis Cluster集群至少需要三个master节点,本文将以单机多实例的方式部署3个主节点及3个从节点,6个节点实例分别使用不同的端口及工作目录
1. 首先,在redis安装目录/usr/local/redis-4.0.6下新建目录redis-cluster,并在该目录下再新建6个子目录,8001,8002,8003,8004,8005,8006,此时目录结构如下图所示:
[root@VM_0_15_centos redis-cluster]# pwd
/usr/local/redis-4.0.6/redis-cluster
[root@VM_0_15_centos redis-cluster]# ll
total 24
drwxr-xr-x 2 root root 4096 Jul 7 18:42 8001
drwxr-xr-x 2 root root 4096 Jul 7 18:42 8002
drwxr-xr-x 2 root root 4096 Jul 7 18:42 8003
drwxr-xr-x 2 root root 4096 Jul 7 18:42 8004
drwxr-xr-x 2 root root 4096 Jul 7 18:42 8005
drwxr-xr-x 2 root root 4096 Jul 7 18:42 8006
2. 将redis安装目录/usr/local/redis-4.0.6下的redis.conf文件拷贝至8001文件夹,并修改以下配置:
daemonize yes #开启后台运行
port 8001 #工作端口
bind 172.16.0.15 #绑定机器的内网IP,一定要设置呀老铁,不要用127.0.0.1
dir /usr/local/redis-cluster/8001/ #指定工作目录,rdb,aof持久化文件将会放在该目录下,不同实例一定要配置不同的工作目录
cluster-enabled yes #启用集群模式
cluster-config-file nodes-8001.conf #生成的集群配置文件名称,集群搭建成功后会自动生成,在工作目录下
cluster-node-timeout 5000 #节点宕机发现时间,可以理解为主节点宕机后从节点升级为主节点时间
appendonly yes #开启AOF模式
pidfile /var/run/redis_8001.pid #pid file所在目录
3. 把8001文件夹下的redis.conf文件拷贝到其他5个目录,并重新修改port 、dir、cluster-config-file 三个属性
这里可以使用sed命令快速修改
[root@VM_0_15_centos redis-cluster]# sed -i 's/8001/8002/g' 8002/redis.conf
[root@VM_0_15_centos redis-cluster]# sed -i 's/8001/8003/g' 8003/redis.conf
[root@VM_0_15_centos redis-cluster]# sed -i 's/8001/8004/g' 8004/redis.conf
[root@VM_0_15_centos redis-cluster]# sed -i 's/8001/8005/g' 8005/redis.conf
[root@VM_0_15_centos redis-cluster]# sed -i 's/8001/8006/g' 8006/redis.conf
4. 由于创建集群需要用到redis-trib这个命令,它依赖Ruby和RubyGems,因此我们要先安装一下
[root@VM_0_15_centos redis-cluster]# yum install ruby
[root@VM_0_15_centos redis-cluster]# yum install rubygems
[root@VM_0_15_centos redis-cluster]# gem install redis --version 3.3.3
5. Ruby安装完成之后,我们开始启动6个节点
[root@VM_0_15_centos redis-4.0.6]# ./src/redis-server redis-cluster/8001/redis.conf
[root@VM_0_15_centos redis-4.0.6]# ./src/redis-server redis-cluster/8002/redis.conf
[root@VM_0_15_centos redis-4.0.6]# ./src/redis-server redis-cluster/8003/redis.conf
[root@VM_0_15_centos redis-4.0.6]# ./src/redis-server redis-cluster/8004/redis.conf
[root@VM_0_15_centos redis-4.0.6]# ./src/redis-server redis-cluster/8005/redis.conf
[root@VM_0_15_centos redis-4.0.6]# ./src/redis-server redis-cluster/8006/redis.conf
6.查看一下服务是否正常起来了
[root@VM_0_15_centos redis-4.0.6]# ps -ef|grep redis
root 20290 1 0 18:33 ? 00:00:02 ./src/redis-server *:8001 [cluster]
root 20295 1 0 18:33 ? 00:00:02 ./src/redis-server *:8002 [cluster]
root 20300 1 0 18:33 ? 00:00:02 ./src/redis-server *:8003 [cluster]
root 20305 1 0 18:33 ? 00:00:02 ./src/redis-server *:8004 [cluster]
root 20310 1 0 18:33 ? 00:00:02 ./src/redis-server *:8005 [cluster]
root 20312 1 0 18:33 ? 00:00:02 ./src/redis-server *:8006 [cluster]
root 22913 15679 0 19:31 pts/2 00:00:00 grep --color=auto redis
ok,6个节点都已经正常启动。
7. 开始创建集群
[root@VM_0_15_centos redis-4.0.6]# ./src/redis-trib.rb create --replicas 1 172.16.0.15:8001 172.16.0.15:8002 172.16.0.15:8003 172.16.0.15:8004 172.16.0.15:8005 172.16.0.15:8006
由控制台可以看到,集群已经创建完毕,那么我们到8001这个节点看一下集群节点状态
172.16.0.15:8001> cluster nodes
068ac2afe1ade8b69b83226453fecc2b79cd93ae 172.16.0.15:8004@18004 slave 421ebe9e0a5ac6c811935ecd9dba83ef119dec17 0 1531008204920 4 connected
784c727c83a5952d3714ac211021f909cc4dfee4 172.16.0.15:8005@18005 slave eb5d700e2f030c02fb1f30ba4420d0b4f7170d84 0 1531008203000 5 connected
0537099e7cc7ab595c7aad5f0c96985251b85ec0 172.16.0.15:8006@18006 slave 79262341417df0a11eaf31e72bbf3e26f5f60ebf 0 1531008204419 6 connected
421ebe9e0a5ac6c811935ecd9dba83ef119dec17 172.16.0.15:8001@18001 myself,master - 0 1531008204000 1 connected 0-5460
eb5d700e2f030c02fb1f30ba4420d0b4f7170d84 172.16.0.15:8002@18002 master - 0 1531008203000 2 connected 5461-10922
79262341417df0a11eaf31e72bbf3e26f5f60ebf 172.16.0.15:8003@18003 master - 0 1531008203419 3 connected 10923-16383
控制台信息显示: 当前集群中存在3个主节点和3个从节点,说明我们的集群已经搭建成功
至此,Redis Cluster集群就搭建完成了!
Tips :
1. 如果想重新创建集群,需要登录到每个节点,执行flushdb,然后执行cluster reset,重启节点;
2. 如果要批量杀掉Redis进程,可以使用pkill redis-server命令;
3. 如果redis开启了密码认证,则需要在redis.conf中增加属性 : masterauth yourpassword ,并且需要修改/usr/local/share/gems/gems/redis-3.3.3/lib/redis目录下的client.rb文件,将password属性设置为redis.conf中的requirepass的值,不同的操作系统client.rb的位置可能不一样,可以使用 find / -name "client.rb"全盘查找一下;
DEFAULTS = {:url => lambda { ENV["REDIS_URL"] },:scheme => "redis",:host => "127.0.0.1",:port => 6379,:path => nil,:timeout => 5.0,:password => "yourpassword",:db => 0,:driver => nil,:id => nil,:tcp_keepalive => 0,:reconnect_attempts => 1,:inherit_socket => false}
4. Redis开启密码认证后,在集群操作时问题会比较多,因此建议不要开启密码认证,搭配使用防火墙保证Redis的安全。
Redis高可用集群Redis Cluster搭建相关推荐
- Redis高可用集群-哨兵模式(Redis-Sentinel)搭建配置教程【Windows环境】
================================================= 人工智能教程.零基础!通俗易懂!风趣幽默!大家可以看看是否对自己有帮助! 点击查看高清无码教程 == ...
- 部署Redis高可用集群
目录 部署Redis高可用集群 Redis集群环境 拓扑结构 IP地址 环境准备 工作原理 创建Redis集群 部署管理主机 redis-trib.rb脚本 redis服务器开启集群功能 管理主机创建 ...
- docker搭建redis高可用集群
目标:docker搭建redis高可用集群 1.架构:六个redis容器,三主三从,主从复制,主机宕机从机自动替代 2.网络架构设计:设计一个专属redis的docker网络 docker netwo ...
- 【❤️万字长文总结❤️】一篇学会Redis高可用✔集群✔搭建详细教程
大家好,我是Lex 喜欢欺负超人那个Lex 擅长领域:python开发.网络安全渗透.Windows域控Exchange架构 今日重点:今天总结一下Redis集群高可用的搭建流程 [惊喜推荐+优质资源 ...
- redis高可用集群
一.redis集群方案比较 主从哨兵模式 redis3.0之前的版本实现集群一般采用的方案是借助哨兵sentinel工具来监控master节点的状态,如果master主节点异常,则会做主从切换,将一台 ...
- redis 04:Redis高可用集群
文章目录 一.Redis集群方案比较 二.Redis高可用集群搭建 三.Java操作redis集群 四.Redis集群原理分析 五.集群伸缩 5.1 集群扩展 5.1 缩容集群 六.总结 以下参考了图 ...
- 采用 redis主从 + 哨兵(sentinel) + vip漂移搭建一套redis高可用集群
一.单个实例 当系统中只有一台redis运行时,一旦该redis挂了,会导致整个系统无法运行. 单个实例 二.备份 由于单台redis出现单点故障,就会导致整个系统不可用,所以想到的办法自然就是备份( ...
- redis高可用集群搭建
上篇博客记录了哨兵模式的集群搭建,今天搭建高可用的redis集群以及两种集群架构的对比. 搭建集群(参考redis官方文档) 1.在redis目录中创建cluster目录,cluster下分别创建存放 ...
- 基于 Docker 的 Redis 高可用集群搭建(redis-sentinel)
前言 之前介绍了用docker来搭建redis主从环境,但这只是对数据添加了从库备份(主从复制),当主库down掉的时候,从库是不会自动升级为主库的,也就是说,该redis主从集群并非是高可用的. ...
最新文章
- suse 12sp1 oracle 11g r2 时出现错误 调用/sysman/lib/ins_emagent.mk的目标nmo时出错
- python中怎么做分组问题_详解Python中的分组函数groupby和itertools)
- 15.基于Hadoop的数据仓库Hive第2部分
- hashcode值一样对象一定相同吗_HashMap实现原理分析(面试问题:两个hashcode相同 的对象怎么存入hashmap的)...
- Robust principal component analysis?(RPCA简单理解)
- 12. nc/netcat 用法举例
- 使用PYTHON列表生成式过滤数据
- SpringBoot+Vue的房屋租赁系统(含前后台)
- 新华书店牵手阿里云 要用云计算打造“智慧悦读”
- 【翻译】200行代码讲透RUST FUTURES (7)
- pip install 安装报错:ValueError: check_hostname requires server_hostname
- 梦回大明湖畔遇见情窦初开的数据库,寻梦的开始,大明湖畔的夏雨荷-你在哪呢?
- 牛年交个朋友,重新认识一下云和恩墨!
- 开发与测试如同左手和右手
- 多传感器信息融合,介绍中图片为INS+ DVL组合程序
- python excel sheet_人生苦短我学Python——Excel处理之快速创建多个Sheet并重命名
- Docker系列之Jenkins+Git实现流水线部署SpringBoot项目
- 收藏 | 广东省各地教师公务员等实际工资爆料
- EtherCAT总线伺服电机/一体化伺服电机IO线端子对应定义
- 分配性质是什么意思_公司性质是怎么分类的?各自的含义和区别是什么
热门文章
- 德国最受欢迎的程序员技能排行
- python 实现桶排序
- 【UML建模】UML图详细总结
- Connecting to (DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=localhost)(PORT=1521))) TNS-12541: TNS:no li
- Docker下部署mysql
- Gitea——私有git服务器搭建详细教程
- 华为公有云架构解决方案
- 华为4D成像雷达、智能驾驶平台MDC 810
- PyTorch中的MIT ADE20K数据集的语义分割
- 自动编码器的评级预测