Redis:哨兵模式(针对某一模块,数据量有限)
Redis:哨兵模式(针对某一模块,数据量有限)
关键词
- 主从(读写分离,高新能),没有实现高可用
- 主从+哨兵:可以实现主从切换,实现高可用
- 哨兵检测(1s1ping),哨兵确认(接受回复,主观下线;询问其他哨兵,客观下线),哨兵故障转移(哨兵leader进行故障转移)
- 哨兵:监视 主服务器 进入下线状态;从服务器升级为主服务器继续提供服务
- 哨兵执行流程:
启动并初始化Sentinel
获取主从服务器信息
向主服务器和从服务器发送消息(以订阅的方式)
接收来自主服务器和从服务器的频道信息
检测主观下线状态
检查客观下线状态
选举Leader Sentinel (raft 选举算法,一般谁先发现就是谁)
故障转移 ( 核心:哨兵的leader去修改几个配置文件)
主服务器的选择
一、哨兵模式
哨兵(sentinel)是Redis的高可用性 (High Availability) 的解决方案:
由一个或多个sentinel实例组成sentinel集群可以 监视 一个或多个主服务器和多个从服务器。
当主服务器进入下线状态时,sentinel可以将该主服务器下的某一从服务器升级为主服务器继续提供服务,从而保证redis的高可用性。
二、部署方案
- sentinel集群:奇数个,方便选举
- redis集群
三、搭建配置
节点名称 | |
---|---|
redis-master | |
redis-slaver1 | |
redis-slaver2 | |
redis-sentinel1 | |
redis-sentinel2 | |
redis-sentinel3 |
在一台机器上采用伪分布式的方式部署。(生产环境应该是多台机器)
根据上面的部署方案搭建如下:
Redis-Master :127.0.0.1 6379
采用安装的方式,正常安装和配置
#1 安装redis5.0
mkdir redis-master
cd /var/redis-5.0.5/src/
make install PREFIX=/var/redis-ms/redis-master
cp /var/redis-5.0.5/redis.conf /var/redis-ms/redis-master/bin
#2 修改redis.conf
# 将`daemonize`由`no`改为`yes`
daemonize yes
# 默认绑定的是回环地址,默认不能被其他机器访问
# bind 127.0.0.1
# 是否开启保护模式,由yes该为no
protected-mode no
Redis-Slaver1:127.0.0.1 6380
#安装redis-slaver1
mkdir redis-slaver1
cp -r /var/redis-ms/redis-master/* /var/redis-ms/redis-slaver1
#修改配置文件
vim /var/redis-ms/redis-slaver1/redis.conf
port 6380
replicaof 127.0.0.1 6379
Redis-Slaver2:127.0.0.1 6381
#安装redis-slaver2
mkdir redis-slaver2
cp -r /var/redis-ms/redis-master/* /var/redis-ms/redis-slaver2
#修改配置文件
vim /var/redis-ms/redis-slaver2/redis.conf
port 6381
replicaof 127.0.0.1 6379
Redis-Sentinel1:127.0.0.1 26379
#安装redis-sentinel1
mkdir redis-sentinel1
cp -r /var/redis-ms/redis-master/* /var/redis-ms/redis-sentinel1
#拷贝sentinel.conf 配置文件并修改
cp /var/redis-5.0.5/sentinel.conf /var/redis-ms/redis-sentinel1
# 哨兵sentinel实例运行的端口 默认26379
port 26379
# 将`daemonize`由`no`改为`yes`
daemonize yes# 哨兵sentinel监控的redis 主节点 的 ip port
# master-name 可以自己命名的主节点名字 只能由字母A-z、数字0-9 、这三个字符".-_"组成。
# quorum 当这些quorum个数sentinel哨兵认为master主节点失联 那么这时 客观上认为主节点失联了
# sentinel monitor <master-name> <ip> <redis-port> <quorum>
sentinel monitor mymaster 127.0.0.1 6379 2 # 选举数 2 > sentinel数的一半 (主观下线)
# 当在Redis实例中开启了requirepass foobared 授权密码 这样所有连接Redis实例的客户端都要提供密码
# 设置哨兵sentinel 连接主从的密码 注意必须为主从设置一样的验证密码
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster MySUPER--secret-0123passw0rd# sentinel和master的通信,主观下线时间,默认30s
# 指定多少毫秒之后 主节点没有应答哨兵sentinel 此时 哨兵主观上认为主节点下线 默认30秒,改成3秒
# sentinel down-after-milliseconds <master-name> <milliseconds>
sentinel down-after-milliseconds mymaster 3000 # 可以修改成3s,测试
# 这个配置项指定了在发生failover主备切换时最多可以有多少个slave同时对新的master进行 同步,
这个数字越小,完成failover所需的时间就越长,
但是如果这个数字越大,就意味着越 多的slave因为replication而不可用。
可以通过将这个值设为 1 来保证每次只有一个slave 处于不能处理命令请求的状态。
# sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1
# 故障转移的超时时间 failover-timeout 可以用在以下这些方面:
#1. 同一个sentinel对同一个master两次failover之间的间隔时间。
#2. 当一个slave从一个错误的master那里同步数据开始计算时间。直到slave被纠正为向正确的
master那里同步数据时。
#3.当想要取消一个正在进行的failover所需要的时间。
#4.当进行failover时,配置所有slaves指向新的master所需的最大时间。不过,即使过了这个超时,
slaves依然会被正确配置为指向master,但是就不按parallel-syncs所配置的规则来了
# 默认三分钟
# sentinel failover-timeout <master-name> <milliseconds>
sentinel failover-timeout mymaster 180000
Redis-Sentinel2:127.0.0.1 26380
#安装redis-sentinel2
mkdir redis-sentinel2
cp -r /var/redis-ms/redis-sentinel1/* /var/redis-ms/redis-sentinel2
#修改sentinel.conf
vim /var/redis-ms/redis-sentinel2/sentinel.conf
port 26380
Redis-Sentinel3:127.0.0.1 26381
#安装redis-sentinel3
mkdir redis-sentinel3
cp -r /var/redis-ms/redis-sentinel1/* /var/redis-ms/redis-sentinel3
#修改sentinel.conf
vim /var/redis-ms/redis-sentinel3/sentinel.conf
port 26381
配置好后依次执行:redis-master、redis-slaver1、redis-slaver2、redis-sentinel1、redis-sentinel2、redis-sentinel3
#启动redis-master和redis-slaver
在redis-master目录下 ./redis-server redis.conf
在redis-slaver1目录下 ./redis-server redis.conf
在redis-slaver2目录下 ./redis-server redis.conf#启动redis-sentinel
在redis-sentinel1目录下 ./redis-sentinel sentinel.conf
在redis-sentinel2目录下 ./redis-sentinel sentinel.conf
在redis-sentinel3目录下 ./redis-sentinel sentinel.conf#查看启动状态
[root@localhost bin]# ps -ef |grep redis
root 3602 1 0 01:33 ? 00:00:00 ./redis-server *:6379
root 3647 1 0 01:37 ? 00:00:00 ./redis-server *:6380
root 3717 1 0 01:40 ? 00:00:00 ./redis-server *:6381
root 3760 1 0 01:42 ? 00:00:00 ./redis-sentinel *:26379
[sentinel]
root 3765 1 0 01:42 ? 00:00:00 ./redis-sentinel *:26380
[sentinel]
root 3770 1 0 01:42 ? 00:00:00 ./redis-sentinel *:26381
[sentinel]
root 3783 2261 0 01:42 pts/0 00:00:00 grep --color=auto redis
四、执行流程
4.1 启动并初始化Sentinel
Sentinel是一个特殊的Redis服务器
不会进行持久化
Sentinel实例启动后
每个Sentinel会创建2个连向主服务器的网络连接
- 命令连接:用于向主服务器发送命令,并接收响应;
- 订阅连接:用于订阅主服务器的—sentinel—:hello频道。
4.2 获取主服务器信息
Sentinel默认每10s一次,向被监控的主服务器发送info命令,获取主服务器和其下属从服务器的信息。
127.0.0.1:6379> info
# Server
redis_version:5.0.5
os:Linux 3.10.0-229.el7.x86_64 x86_64
run_id:a4e06ab61b4116660aa37b85079ed482b0b695b1
# Replication
role:master
connected_slaves:2
slave0:ip=127.0.0.1,port=6380,state=online,offset=1571684,lag=1
slave1:ip=127.0.0.1,port=6381,state=online,offset=1571551,lag=1
master_replid:366322125dd7dc9bc95ed3467cfec841c112e207
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1571684
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:523109
repl_backlog_histlen:1048576
4.3 获取从服务器信息
当Sentinel发现主服务器有新的从服务器出现时,Sentinel还会向从服务器建立命令连接和订阅连接。
在命令连接建立之后,Sentinel还是默认10s一次,向从服务器发送info命令,并记录从服务器的信息。
info命令
# Server
redis_version:5.0.5
os:Linux 3.10.0-229.el7.x86_64 x86_64
run_id:e289b3286352aaf8cc9f1ac7ebcc6d36131b8321
# Replication
role:slave
master_host:127.0.0.1
master_port:6379
master_link_status:up
master_last_io_seconds_ago:0
master_sync_in_progress:0
slave_repl_offset:1699595
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:366322125dd7dc9bc95ed3467cfec841c112e207
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1699595
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:651020
repl_backlog_histlen:1048576
4.4 向主服务器和从服务器发送消息(以订阅的方式)
默认情况下,Sentinel每2s一次,向所有被监视的主服务器和从服务器所订阅的—sentinel—:hello频道上发送消息,消息中会携带Sentinel自身的信息和主服务器的信息。
PUBLISH _sentinel_:hello "< s_ip > < s_port >< s_runid >< s_epoch > < m_name > <
m_ip >< m_port ><m_epoch>"
4.5 接收来自主服务器和从服务器的频道信息
当Sentinel与主服务器或者从服务器建立起订阅连接之后,Sentinel就会通过订阅连接,向服务器发送以下命令:
subscribe —sentinel—:hello
Sentinel彼此之间只创建命令连接,而不创建订阅连接,因为Sentinel通过订阅主服务器或从服务器,就可以 感知到新的Sentinel的加入 ,而一旦新Sentinel加入后,相互感知的Sentinel通过命令连接来通信就可以了。
4.6 检测主观下线状态
Sentinel 每秒一次 向所有与它建立了命令连接的实例(主服务器、从服务器和其他Sentinel) 发送PING命令
- 实例在down-after-milliseconds毫秒内返回无效回复(除了+PONG、-LOADING、-MASTERDOWN外)
- 实例在down-after-milliseconds毫秒内无回复(超时)
Sentinel就会认为该实例 主观下线(SDown)
4.7 检查客观下线状态
当一个Sentinel将一个主服务器判断为主观下线后
Sentinel会向同时监控这个主服务器的所有其他Sentinel发送查询命令
主机的
SENTINEL is-master-down-by-addr <ip> <port> <current_epoch> <runid>
其他Sentinel回复
<down_state>< leader_runid >< leader_epoch >
判断它们是否也认为主服务器下线。如果达到Sentinel配置中的 quorum数量 的Sentinel 实例都判断主服务器为主观下线,则该主服务器就会被判定为客观下线(ODown)。
4.8 选举Leader Sentinel
当一个主服务器被判定为客观下线后,监视这个主服务器的所有Sentinel会通过选举算法(raft),选出一个 ** Leader Sentinel去执行** failover(故障转移)操作。
五、哨兵leader选举
5.1 Raft
Raft协议是用来解决分布式系统一致性问题的协议。
Raft协议描述的节点共有三种状态:Leader, Follower, Candidate。
term:Raft协议将时间切分为一个个的Term(任期),可以认为是一种 “逻辑时间”。
选举流程:
Raft采用心跳机制触发Leader选举
系统启动后,全部节点初始化为Follower,term为0。
节点如果收到了RequestVote或者AppendEntries,就会保持自己的Follower身份
节点如果一段时间内没收到AppendEntries消息,在该节点的超时时间内还没发现Leader,Follower就会转换成Candidate,自己开始竞选Leader。
一旦转化为Candidate,该节点立即开始下面几件事情:
- 增加自己的term。
- 启动一个新的定时器。
- 给自己投一票。
- 向所有其他节点发送RequestVote,并等待其他节点的回复。
如果在计时器超时前,节点收到多数节点的同意投票,就转换成Leader。同时向所有其他节点发送AppendEntries,告知自己成为了Leader。
每个节点在一个term内只能投一票,采取先到先得的策略,Candidate前面说到已经投给了自己,Follower会投给第一个收到RequestVote的节点。
Raft协议的定时器采取随机超时时间,这是选举Leader的关键。
在同一个term内,先转为Candidate的节点会先发起投票,从而获得多数票。
5.2 Sentinel的leader选举流程
1、某Sentinel认定master客观下线后,该Sentinel会先看看自己有没有投过票,如果自己已经投过票给其他Sentinel了,在一定时间内自己就不会成为Leader。
2、如果该Sentinel还没投过票,那么它就成为Candidate。
3、Sentinel需要完成几件事情:
- 更新故障转移状态为start
- 当前epoch加1,相当于进入一个新term,在Sentinel中epoch就是Raft协议中的term。
- 向其他节点发送 is-master-down-by-addr 命令请求投票。命令会带上自己的epoch。(让其他节点给自己投票)
- 给自己投一票(leader、leader_epoch)
4、当其它哨兵收到此命令时,可以同意或者拒绝它成为领导者;(通过判断epoch)(投给epoch大的)
5、Candidate会不断的统计自己的票数,直到他发现认同他成为Leader的票数超过一半而且超过它配置的quorum,这时它就成为了Leader。
6、其他Sentinel等待Leader从slave选出master后,检测到新的master正常工作后,就会去掉客观下线的标识。
5.3 故障转移(一般情况下,谁先发现的随就会成为leader)(哨兵的leader去修改几个配置文件)
当选举出Leader Sentinel后,Leader Sentinel会对下线的主服务器执行故障转移操作,主要有三个步骤:
它会将失效 Master 的其中一个 Slave 升级为新的 Master , 并让失效 Master 的其他 Slave 改为复制新的 Master ;
当客户端试图连接失效的 Master 时,集群也会向客户端返回新 Master 的地址,使得集群可以使用现在的 Master 替换失效 Master 。
Master 和 Slave 服务器切换后, Master 的 redis.conf 、 Slave 的 redis.conf 和sentinel.conf 的配置文件的内容都会发生相应的改变,即, Master 主服务器的 redis.conf 配置文件中会 多一行 replicaof 的配置, sentinel.conf 的监控目标会随之调换。
六、主服务器的选择
哨兵leader根据以下规则从客观下线的主服务器的从服务器中选择出新的主服务器。
- 过滤掉主观下线的节点
- 选择slave-priority最高的节点,如果由则返回没有就继续选择 (一般不配置)
- 选择出复制偏移量最大的系节点,因为复制偏移量越大则数据复制的越完整,如果由就返回了,没有就继续
- 选择run_id最小的节点,因为run_id越小说明重启次数越少
Redis:哨兵模式(针对某一模块,数据量有限)相关推荐
- Redis主从复制、Redis哨兵模式、Redis集群
目录 Redis主从复制 主从复制 Redis哨兵模式 哨兵sentinel 哨兵的工作原理 哨兵sentinel-实现高可用 sentinel的坑 修改从节点的选举优先级 sentinel.conf ...
- redis哨兵模式没有切换主机_Redis哨兵(Sentinel)模式
Redis哨兵(Sentinel)模式 在这里插入图片描述 一.主从复制高可用 当我们使用主从复制出现的问题 手动故障转移 写能力和存储能力受限 主从复制 -master 宕机故障处理 主从切换技术的 ...
- 哨兵2号波段_分布式框架之高性能:Redis哨兵模式
本文首发于Ressmix个人站点:https://www.tpvlog.com 我们在搭建Redis的主从架构时,主节点一旦由于故障不能提供服务,需要人工将从节点晋升为主节点,同时还要通知应用方更新主 ...
- Redis——Redis哨兵模式
Redis哨兵模式 Redis哨兵模式概述 哨兵的作用 启用哨兵模式 配置单哨兵 配置单哨兵 启动单哨兵 配置集群哨兵 配置集群哨兵 启动集群哨兵 哨兵模式的全部配置 Redis哨兵模式概述 主从切换 ...
- redis哨兵模式-sentinel ,java客户端动态切换master
redis 的搭建模式 单机模式 : 单机服务 主从模式: 有备机,备机提供备份,和 读写分离的功能 哨兵模式: master宕机后,哨兵会选举备机替换master 集群模式: 集群能够做分布式,ma ...
- 部署支持使用Redis哨兵模式,支持纳管ClickHouse数据库,JumpServer堡垒机v2.28.0发布
2022年11月21日,JumpServer开源堡垒机正式发布v2.28.0版本.在这一版本中,JumpServer的部署支持使用Redis哨兵集群作为后端缓存数据库,从而使系统更加健壮和高可用.操作 ...
- Redis哨兵模式(原理剖析)
Redis哨兵模式(原理剖析) 前言 一.Sentinel模式概述 二.配置哨兵模式 1.哨兵配置 1.1 优点: 1.2 缺点: 总结 前言 在Redis中主从复制解决高可用的方案是:当主节点服务器 ...
- 配置Redis哨兵模式
Redis哨兵模式 配置哨兵: 1.新建名为sentinel.conf的配置文件 2.填写内容(其中mymaster为监控对象起的服务器名称,1为至少有一个哨兵同意迁移) 3.配置完成后进行启动哨兵 ...
- Redis哨兵模式(Sentinel)
哨兵模式 概述 主从切换技术的操作是:当主机宕机后,需要手动把一台从机切换为主机.这就需要人工干预,费事费力,还会造成一段时间内服务不可用.这不是一种推荐的方式,更多时候,我们优先考虑哨兵模式. Re ...
最新文章
- [LeetCode]题解(python):019-Remove Nth Node From End of List
- wps插件实用插件_6款实用PS插件合集,好用的PS插件都在这里!
- 【bfs】极其简单的最短路问题
- 这四种攻击单片机的主要技术你了解多少?
- 购书中心管理信息系统(含源文件)
- C语言的那些秘密之---函数返回局部变量(转)
- laravel 方法摘要
- 【Shell】按关键字查找某个字符
- 翻译连载 | 附录 C:函数式编程函数库-《JavaScript轻量级函数式编程》 |《你不知道的JS》姊妹篇...
- C语言 — 数据类型,基本整型所占字节数
- linux本地光盘yum
- 红帽子linux装mysql_红帽学习之Linux安装
- 【Unity 3D】简易小车游戏
- unity塔防游戏怪物转向_英雄塔防物语手游下载-英雄塔防物语安卓版下载v2.3.8
- 人类历史的进程vs互联网的进程
- RSA用私钥加密数据公钥解密数据(不是签名验证过程)
- 计算机价格谈判议程,谈判议程
- Sprig的EL表达式和读取Properties文件教程
- 基于51单片机的万年历(算法实现)
- HTML、JS、JSON特殊字符 - JS到HTML特殊字符转换