redis 系列27 Cluster高可用 (2)
一. ASK错误
集群上篇最后讲到,对于重新分片由redis-trib负责执行,关于该工具以后再介绍。在进行重新分片期间,源节点向目标节点迁移一个槽的过程中,可以会出现该槽中的一部分键值对保存在源节点中,另一部份键值对则保存在目标节点中。
当客户端向源节点发送一个与数据库键有关的命令时,并且命令要处理的数据库键正好就是正在被迁移的槽时,会出现二种情况的一种:
(1) 源节点会先在自己的数据库中查找指定的键,如果找到的话,就会直接执行客户端发送的命令。
(2) 相反,如果在源节点找不到指定的键,那么键有可能已经被迁移到了目标节点,源节点将向客户端返回一个ASK错误,指引客户端转向正在导入槽的目标节点,并再次发送之前想要执行的命令。
注意:和接到Moved错误时的情况一样,集群模式的redis-cli在接到ask错误时也不会打印错误,而是自动根据错误提供的ip和port进行转向(Redirected to ..)动作。
1.1 cluster setslot importing 命令实现
在clusterState结构的importing_slots_from数组中,记录了当前节点正在从其他节点导入的槽号。在集群进行重新分片的时候,向目标节点发送以下命令,格式为:
cluster setslot < slot > importing <node ID>
slot 和 node_id是指:源节点槽号和源节点ID。比如在上一篇结尾,原属于7002节点的14042 号槽,迁移到了目标7003节点,在7003节点中内部clusterState结构的importing_slots_from数组下记录了14042号槽,并且还记录了源节点ip和端口(127.0.0.1 7002)。
1.2 cluster setslot migrating命令实现
在clusterState结构的 migrating_slots_to数组中,记录了当前节点正在迁移至其他节点的槽。在集群进行重新分片的时候,向源节点发送命令以下命令,格式为:
cluster setslot < slot > migrating <node ID>
slot 和 node_id是指:目标节点槽号和目标节点ID。
下图左边7003目标节点 importing_slots_from数组 和 右边7002源节点的migrating_slots_to数组:
1.3 ASK错误后的引导
如果节点收到一个关于键key的命令请求,并且键key所属的槽i正好就指派给了这个节点, 如果节点没有在自己的数据库里找到键key,那么节点会检查自己的迁移数组clusterState.migrating_slots_to[i], 看键key所属的槽i是否正在进行迁移,如果槽 i 的确在进行迁移,那么节点会向客户端发送一个ask错误,引导客户端到正在导入槽 i 的节点去查找键key。
1.4 ASK错误和Moved错误的区别
ASK错误和Moved错误都会导致客户端转向,它们区别在于:
(1) Moved错误代表槽的负责权,已经从一个节点转移到了另一个节点:在客户端收到关于槽i的mvoed错误之后,客户端每次遇到关于槽i的命令请求时,都可以直接将命令请求发送到moved错误所指向的节点,因为该节点就是目前负责槽i的节点。
(2) 与此相反,ASK错误只是两个节点在迁移槽的过程中使用的一种临时措施:在客户端收到关于槽 i 的ASK错误之后,客户端只会在接下来的一次命令请求中将关于槽 i 的命令请求发送到ASK错误所指示的节点。
二. 复制与故障转移
集群中的节点分为主节点和从节点,主节点用于处理槽,而从节点则用于复制某个主节点,当主节点下线时,从节点代替主节点继续处理命令请求。
复制设置从节点:在主节点将设置 node_id (node_id为从节点),脚本如下:
CLUSTER REPLICATE <node_id>
2.1 节点故障检测
集群中的每个节点都会定期向群集中的其他节点发送ping消息,以此来检测对方是否在线,如果接收ping消息的节点没有在规定的时间内返回pong消息,那么发送节点就会将接收节点标记为疑似下线pfail(probable fail)。
集群中的各个节点会通过互相发送消息的方式来交换集群中各个节点的状态信息,来判断节点是处于在线、疑似下线还是下线(fail) 状态。
在集群中,负责处理槽的节点在半数以上都将某个主节点x 报告为疑似下线状态时,那么这个主节点x将标记为已下线 fail。 将主节点x标记为已下线的节点会向集群广播一条关于主节点x的fail消息。
2.2 故障转移实现步骤
当一个从节点发现自己正在复制的主节点进入已下线状态时,从节点将开始对下线主节点进行故障转移,步骤如下:
(1) 复制下线主节点的所有从节点,会有一个从节点被选中。
(2) 被选中的从节点会执行slaveof no one 命令,成为新的主节点。
(3) 新的主节点会撤消所有对已下线主节点的槽指派,并将这些槽指派给自己。
(4) 新的主节点向集群广播一条pong消息,这条pong消息可以让集群中的其他节点立即知道这个节点已经由从节点变成了主节点,并且接管了原本已下线的节点负责处理的槽。
(5) 新的主节点开始接收和自己负责处理的槽有关的命令请求,故障转移完成。
2.3 节点之间的通信
集群中的各个节点通过发送和接收消息来进行通信,节点发送的消息主要以5种:
(1) meet消息: 发送者向接收者发送meet消息,请求接收者加入到发送者当前所处的集群中。
(2) ping消息:集群中每个节点默认每隔1秒就会从已知节点列表随机选出5个节点,然后对这5个节点中最长时间没有发送过ping消息的节点发送ping消息,以此来检测被选中的节点是否在线。
(3) pong消息:当接收者收到meet或ping消息时,会向发送者返回一条pong消息,以此表明自己(接收者)节点是正常的。另外一个节点也可以通过向集群广播自己的pong消息来让集群中的其他节点刷新关于这个节点的认识。
(4) Fail消息: 当一个主节点A判断另一个主节点B已经进入Fall状态时,节点A会向集群广播一条关于节点B的Fall消息,所有收到这条消息的节点都会立即将节点B标记为已下线。
(5) publish消息: 当节点接收到一个publish命令时,节点会执行这个命令,并向集群广播一条publish消息,所有接收到这条publish消息的节点都会执行相同的publish命令。
三. 集群知识点总结
(1) 节点通过握手来将其他节点添加到自己所处的集群当中。
(2) 集群中的16384个槽可以分别指派给集群中的各个节点,通过cluster nodes命令可以看到节点的槽分布。
(3) 节点在接到一个命令请求时,先检查这个命令请求要处理的键所在的槽是否由自己负责,如果不是,节点向客户端返回一个moved错误,moved错误携带的信息可以指引客户端转向至正在负责相关槽的节点继续来处理。
(4)对Redis集群的重新分片工作是由redis-trib负责执行的,重新分片是将属于某个槽的所有键值对从一个节点转移至另一个节点。
(5)如果节点A正在迁移槽 i 到节点B,当节点A没能在自己的数据库中找到命令指定的键时,节点A向客户端返回一个ASK错误,指引客户端到节点B继续查找指定键。
(6) Moved错误代表槽的负责权已经从一个节点转移到了另一个节点,而ASK错误只是两个节点在迁移槽的过程中使用的一种临时措施。
(7) 集群中的从节点用于复制主节点,并在主节点下线时,代替主节点继续处理命令请求。
(8) 集群中的节点通过发送和接收消息来进行通信,常见的消息包括meet;ping ;pong;publish;fail五种。
转载于:https://www.cnblogs.com/lonelyxmas/p/10230806.html
redis 系列27 Cluster高可用 (2)相关推荐
- redis 系列26 Cluster高可用 (1)
redis 系列26 Cluster高可用 (1) 原文:redis 系列26 Cluster高可用 (1) 一.概述 Redis集群提供了分布式数据库方案,集群通过分片来进行数据共享,并提供复制和故 ...
- Redis系列(四)-低成本高可用方案设计
关于Redis高可用方案,看到较多的是keepalived.zookeeper方案. keepalived是主备模式,意味着总有一台浪费着.zookeeper工作量成本偏高. 本文主要介绍下使用官方s ...
- Redis中的Cluster高可用和主从切换原理
当slave 发现自己的master 变为FAIL 状态时,便尝试进行Failover,以期成为新的master.由于挂掉的master 可能会有多个slave,从而存在多个slave 竞争成为mas ...
- Redis Cluster高可用(HA)集群环境搭建详细步骤
1.为什么要有集群 由于Redis主从复制架构每个数据库都要保存整个集群中的所有数据,容易形成木桶效应,所以Redis3.0之后的版本添加特性就是集群(Cluster) 2.Redis集群架构说明 架 ...
- 面试突击 005 | Redis 是如何实现高可用的?它的实现方式有哪些?「视频版」
这是我的第 35 篇原创文章 作者 | 老王(javacn666) 这部视频的录制.剪辑.做 PPT.写文稿大约花费了 5 个小时的时间,希望这种形式能被更多的人喜欢,希望这篇文章会给你带来更多的价值 ...
- Redis的主从复制与高可用搭建(哨兵模式)
前言 为什么要使用Redis 首先我们先介绍些redis的基本概念,redis是Nosql数据库,是一个key-value存储系统.虽然redis是key-value的存储系统,但是redis支持的v ...
- 使用Sentinel配置Redis 3.x主从高可用服务
Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案,当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的很多客户端)都没有实 ...
- 解说redis中如何实现高可用
redis中为了实现高可用(High Availability,简称HA),采用了如下两个方式: 主从复制数据. 采用哨兵监控数据节点的运行情况,一旦主节点出现问题由从节点顶上继续进行服务. 主从复制 ...
- 数据库系列之SequoiaDB高可用集群部署(二)
SequoiaDB作为存储引擎,支持高并发的HTAP场景.本位总结运维分析项目中使用SequoiaDB作为数据存储的高可用部署实战,并接入Kafka进行高并发的更新业务和Spark进行高并发的批量查询 ...
最新文章
- 3- MySQL数据类型
- 【数据竞赛】“达观杯”文本智能处理挑战赛2
- java httpclient 关闭_java中使用httpclient如何关闭debug日志
- java基础学习——5、HashMap实现原理
- mysql udf提权_三分钟解析postgresql提权
- PyTorch安装问题解决
- 浏览器接收响应消息并显示内容
- ios中xib的使用介绍
- 使用react定义组件的两种方式
- switchhosts 文件下载
- 虚拟化与瑞友天翼应用
- 使用tinyxml2将gps经纬度转换为kml和gpx格式文件
- uboot源码修改之支持DM9000
- CTFshow-萌新 Writeup
- 2023湖南省中职网络安全任务书
- unity替换模型材质
- MSI Z390主板双SSD+HDD,win10系统下安装Ubuntu18.04LTS双系统总结
- securecrt连接不上vmware
- 区块链去中心化和传统去中心化的区别
- 以马丁格尔(翻倍加仓)为基础的长线交易策略
热门文章
- python搭建django环境_在BAE上搭建python,django环境小记
- java 文本词频统计_Java实现中文词频统计
- asp英语是什么意思_如何在ASP.NET Core中使用JSON Patch
- flink checkpoint 重启_Flink进阶教程:Checkpoint机制原理剖析与参数配置
- python更改文件路径 unable_python 安装无效:无法打开/usr/lib/python2. 7/config/Makefile ( 没有此类文件或者目录)...
- python 调用 .netcore api_浅谈Python调用XBee的API来进行通讯
- Machine Learning Algorithms Study Notes--Supervised Learning
- 机器学习中为什么需要梯度下降_机器学习 —— 多元梯度下降
- vue点击改变data_vue 中自定义指令改变data中的值
- 人脸验证(三)--FaceNet