Redis复制：部分同步PSYNC详解

概述

在Redis2.8之前，如果从服务器在主从复制的过程中，出现了断线，重连之后需要全量同步一次主服务器上面的数据，即从服务器发送SYNC命令给主服务器，请求进行全量同步，但是断线重连之后，从服务器只是可能落后主服务器断线期间的写入或者如果断线时间非常短，主从之间数据还是一致的，故如果简单地进行全量同步，则会造成主从服务器之间CPU，内存，网络带宽方面的浪费。
故在Redis2.8及其之后版本，对于从服务器断线重连主服务器这种情景，使用的是部分同步PSYNC来实现。即从服务器重连之后，发送PSYNC命令给主服务器，主服务器根据该从服务器的同步情况，决定是只需将断线期间的写入同步给该从服务器，还是需要进行一次全量同步。

核心设计

在PSYNC中，由于在主从之间只需要同步从服务器落后的部分数据，故在主从服务器中，均需要维护同步状态相关的数据。
PSYNC部分主从同步实现的必要组件，即同步状态数据：
- 主从服务器的复制偏移量；
- 主服务器的复制积压缓冲区；
- 主从服务器运行ID。

复制偏移量

主服务器和从服务器都维护了一个复制偏移量，对应主服务器来说，是记录主服务器同步了多少数据给从服务器，即主服务器每进行一次写操作，如SET key “helloworld”，都会将该写命令同步给从服务器，而在主服务器中会计算这个命令的字节数，假如为N个，则主服务器的复制偏移量将会递增N。
从服务器的复制偏移量则记录了从服务器从主服务器同步了多少字节的数据，如当接收到主服务器的以上写命令时，从服务器也会将自身复制偏移量递增N。
所以如果主从服务器之间的复制偏移量是相等的，表示主从服务器之间数据一致；如果从服务器的小于主服务器的，则表示从服务器落后主服务器，这种情况在从服务器断线重连之后可能会发生。具体过程如以下示意图：（图片均引自黄建宏的《Redis设计与实现》）
1. 主服务器同步前：
2. 主服务器同步后：

复制积压缓冲区

复制积压缓冲区主要用于缓存主服务器发送给从服务器的数据，在从服务器断线重连后，从该缓冲区查找从服务器断线期间，主服务器的写命令数据，从而主服务器可以从该缓冲区获取从服务器落后的数据，发送给从服务器，实现部分同步。
数据结构：复制积压缓冲区是在主服务器维护的一个大小固定的FIFO的队列，默认大小为1M。即如果超过1M，则主服务器会将队列头部数据出队删除，其中头部数据为最先入队数据，即最早的写入命令数据。具体大小可以通过在配置文件redis.conf中的repl-backlog-size来修改。
合适大小：复制积压缓冲区的合适大小可以根据：seconds * write_size_per_seconds来计算，其中seconds为从服务器断开连接的平均时长，write_size_per_seconds为每秒写（写命令+写的数据）的平均大小。为了安全期间通常为2 * seconds * write_size_per_seconds。
缓冲区的更新：主服务器的复制偏移量和复制积压缓冲区的更新是在主服务器在每次向从服务器传播了N个字节，则将自身的复制偏移量加上N。其中该N个字节的数据是一个写命令（即写命令+写数据）。同时将该次的写命令写入复制积压缓冲区中，写命令的每个字节在复制积压缓冲区都对应一个偏移量，如图：

主从服务器运行ID

在主从同步当中，主从服务器都有自己的运行ID，运行ID是在服务器启动时自动生成的，由40个随机生成的16进制的字符组成。
服务器运行ID的主要作用是：
1. 从服务器刚开始同步主服务器时，主服务器会将自身的运行ID发送给从服务器，从服务器在内部进行保存。（由于从服务器重启时，没有主服务器的运行ID，故需要进行全量同步）
2. 之后从服务器断线重新连接主服务器请求同步时，从服务器将之前所连接的主服务器的运行ID传给主服务器，当前这个主服务器检查自己的运行ID和这个从服务器传过来的运行ID是否一致，一致则说明主服务器在断线期间没有更换，故进入根据复制偏移量和复制积压缓冲区来判断是否进行全量还是部分同步的逻辑；否则是主服务器更换过，执行全量同步。

基于PSYNC的主从同步

主从服务器直接进行PSYNC部分同步通常发送在从服务器断线重连的时候，此时由从服务器发起。除此之外，在心跳检测发现命令丢失时，主服务器也会主动发起一次PSYNC。主从同步示意图如下：

断线重连导致的PSYNC

当从服务器断线重连之后，发送PSYNC命令、自身的复制偏移量和断线前所同步的主服务器运行ID给主服务器，即：
```
PSYNC <runid> <offset>
```
主服务器根据该从服务器的复制偏移量offset和主服务器的复制积压缓冲区是否存在该偏移量对应的数据，如果该从服务器偏移量之后（即offset+1）的数据还在该缓冲区中，则执行部分同步，将队列中从offset+1到队列尾的数据发送给从服务器；
否则如果从服务器数据落后太多，如该1M的复制积压缓冲区的头部的偏移量都大于该从服务器复制偏移量（即offset+1），则执行全量同步。
对从服务器而言，发送完PSYNC命令之后，如果主服务器返回+CONTINUE的回复，则说明可以进行部分同步，从服务等待主服务器同步落后的数据过来，主服务器将复制积压缓冲区中该从服务器落后的这部分数据发送过来。如果返回+FULLRESYNCH ,则进行全量同步。如果返回-ERROR，则说明主服务器版本低于2.8，不支持部分同步，此时从服务发送SYNC执行全量同步。

心跳检测导致的PSYNC

在进入主从同步，主服务器和从服务器建立socket连接之后，从服务器以每秒一次的频率向主服务器发送心跳包，即发送命令：
```
REPLCONF ACK <replication_offset>
```
其中replication_offset为从服务器当前的复制偏移量，作用包括：
1. 检查主从服务器之间的网络状态：如果主服务器超过1秒没有收到从服务器的REPLCONF ACK命令，则说明从服务器网络出问题了；
2. 辅助实现min-slaves选项：即min-slaves-to-write（主服务器在从服务器数量少于min-slaves-to-write时，拒绝执行写操作），min-slaves-max-lag（多个从服务器的延迟都大于等于min-slaves-max-lag时，拒绝执行写操作）；主要保证主从服务器都状态良好时，才执行写操作，保持主从的数据一致性；
3. 检测命令丢失：主服务器根据从服务器发送过来的复制偏移量replication_offset来判断发送给从服务器的命令是否丢失了，即该复制偏移量不等于主服务器的复制偏移量，则主服务器将复制积压缓冲区对应的落后数据发给从服务器，即主服务器主动发起一次部分同步。

Redis复制：部分同步PSYNC详解相关推荐

springboot redis 断线重连_Redis复制：部分同步PSYNC详解
概述在Redis2.8之前,如果从服务器在主从复制的过程中,出现了断线,重连之后需要全量同步一次主服务器上面的数据,即从服务器发送SYNC命令给主服务器,请求进行全量同步,但是断线重连之后,从服务器 ...
Redis复制的高可用详解
一.sentinel基础在Redis的主从复制中有一个问题很明显,比如说在一主三从的架构下,如果主节点宕机,那么所有的写操作也就不能执行了,这个主从复制架构也就瘫痪了,所以Redis引入了senti ...
Redis系列教程(二)：详解Redis的存储类型、集群架构、以及应用场景
高并发架构系列高并发架构系列:数据库主从同步的3种一致性方案实现,及优劣比较高并发架构系列:Spring Cloud的核心成员.以及架构实现详细介绍高并发架构系列:服务注册与发现的实现原理.及实 ...
php使用redis分布式锁,php基于redis的分布式锁实例详解
在使用分布式锁进行互斥资源访问时候,我们很多方案是采用redis的实现. 固然,redis的单节点锁在极端情况也是有问题的,假设你的业务允许偶尔的失效,使用单节点的redis锁方案就足够了,简单而且效 ...
读Java并发编程实践记录_原子性_锁_同步容器详解_任务执行
原子性: 单独的,不可分割的操作不要使用过期状态值来决策当下的状态, 一定要先检查再执行(不检查, 将引发数据修改,丢失) 避免延迟初始化(懒加载: 先查看对象 == null, 然后new), 有 ...
PHP连接redis并执行redis相关命令的方法详解
PHP连接redis并执行redis相关命令的方法详解连接redis库的方法共性的运算归类 redis服务类函数 set 操作增删改查 List栈的结构,注意表头表尾,创建更新分开操作 Set,没 ...
Redis有序集合命令ZREMRANGEBYLEX详解与应用
Redis有序集合命令ZREMRANGEBYLEX详解与应用本文是我在Redis中文网翻译团队翻译redis命令的相关内容,也是取得翻译团队同意后在CSDN同步发表 redis.cn翻译团队也欢迎 ...
java用redis缓存的步骤_详解在Java程序中运用Redis缓存对象的方法|chu
这段时间一直有人问如何在Redis中缓存Java中的List 集合数据,其实很简单,常用的方式有两种: 1. 利用序列化,把对象序列化成二进制格式,Redis 提供了相关API方法存储二进制,取数据 ...
rsync+inotify实现实时同步案例详解
rsync+inotify实现实时同步案例详解转自:http://chocolee.blog.51cto.com/8158455/1400596 随着应用系统规模的不断扩大,对数据的安全性和可靠性也 ...

Redis复制：部分同步PSYNC详解

概述

核心设计

复制偏移量

复制积压缓冲区

主从服务器运行ID

基于PSYNC的主从同步

断线重连导致的PSYNC

心跳检测导致的PSYNC

Redis复制：部分同步PSYNC详解相关推荐

最新文章

热门文章