导读:本文内容主要包括Redis主从复制功能的概述、作用和方案实施。

作者:李乐
来源:大数据DT(ID:bigdatadt)

Redis支持主从复制功能,用户可以通过执行slaveof命令或者在配置文件中设置slaveof选项来开启复制功能。例如,现在有两台服务器—127.0.0.1:6379和127.0.0.1:7000,向服务器127.0.0.1:6379发送下面命令:

127.0.0.1:6379>slaveof 127.0.0.1 7000
OK

此时服务器127.0.0.1:6379会成为服务器127.0.0.1:7000的从服务器(slaver),服务器127.0.0.1:7000会成为服务器127.0.0.1:6379的主服务器(master);通过复制功能,从服务器127.0.0.1:6379的数据可以和主服务器127.0.0.1:7000的数据保持同步。

为什么需要主从复制功能呢?

简单来说,主从复制功能主要有以下两点作用。

  1. 读写分离,单台服务器能支撑的QPS是有上限的,我们可以部署一台主服务器、多台从服务器,主服务器只处理写请求,从服务器通过复制功能同步主服务器数据,只处理读请求,以此提升Redis服务能力;另外我们还可以通过复制功能来让主服务器免于执行持久化操作:只要关闭主服务器的持久化功能,然后由从服务器去执行持久化操作即可。

  2. 数据容灾,任何服务器都有宕机的可能,我们同样可以通过主从复制功能提升Redis服务的可靠性;由于从服务器与主服务器数据保持同步,一旦主服务器宕机,可以立即将请求切换到从服务器,从而避免Redis服务中断。

对于本例来说slaveof命令的主要流程如下。

  1. 从服务器127.0.0.1:6379向主服务器127.0.0.1:7000发送sync命令,请求同步数据。

  2. 主服务器127.0.0.1:7000接收到sync命令请求,开始执行bgsave命令持久化数据到RDB文件,并且在持久化数据期间会将所有新执行的写入命令都保存到一个缓冲区。

  3. 当持久化数据执行完毕后,主服务器127.0.0.1:7000将该RDB文件发送给从服务器127.0.0.1:6379,从服务器接收该RDB文件,并将文件中的数据加载到内存。

  4. 主服务器127.0.0.1:7000将缓冲区中的命令请求发送给从服务器127.0.0.1:6379。

  5. 每当主服务器127.0.0.1:7000接收到写命令请求时,都会将该命令请求按照Redis协议格式发送给从服务器127.0.0.1:6379,从服务器接收并处理主服务器发送过来的命令请求。

上述流程已经可以完成主从复制基本功能了,Redis 2.8以前就是这样实现的,但是注意到步骤2中存在持久化操作(bgsave),而这是一个非常耗费资源的操作。

举一个简单的例子。

主服务器和从服务器之间是通过TCP长连接交互数据的,假设某个时刻主从服务器之间的网络连接发生故障且时间比较短,在此期间主服务器只执行了很少的写命令请求。

待主从服务器之间的网络连接恢复后,从服务器会重新连接到主服务器,并发送sync命令请求同步数据。这时候主服务器还需要执行持久化操作吗?显然是可以避免的,只要主服务器能够缓存连接故障期间执行的写命令即可。

Redis 2.8提出了新的主从复制解决方案。从服务器会记录已经从主服务器接收到的数据量(复制偏移量);而主服务器会维护一个复制缓冲区,记录自己已执行且待发送给从服务器的命令请求,同时还需要记录复制缓冲区第一个字节的复制偏移量。从服务器请求同步主服务器的命令也改为了psync。

当从服务器连接到主服务器时,会向主服务器发送psync命令请求同步数据,同时告诉主服务器自己已经接收到的复制偏移量,主服务器判断该复制偏移量是否还包含在复制缓冲区;如果包含,则不需要执行持久化操作,直接向从服务器发送复制缓冲区中命令请求即可,这称为部分重同步;如果不包含,则需要执行持久化操作,同时将所有新执行的写命令缓存在复制缓冲区中,并重置复制缓冲区第一个字节的复制偏移量,这称为完整重同步。

详情可参照Redis源码,方法masterTryPartialResynchronization用于判断是否可以执行部分重同步;方法replicationFeedSlaves用于向所有从服务器广播命令。

void replicationFeedSlaves(list *slaves, int dictid, robj **argv, int argc){if (server.repl_backlog) {//将当前命令请求添加到复制缓冲区}while((ln = listNext(&li))) {//向所有从服务器同步命令请求}
}

另外,从服务器也会通过命令“REPLCONF ACK < reploff >”定时向主服务器汇报自己的复制偏移量;据此,主服务器一来可以检测从服务器是否有效,二来可以重新广播丢失的命令请求。

另外需要注意的是,每台Redis服务器都有一个运行ID,从服务器每次发送psync请求同步数据时,会携带自己需要同步主服务器的运行ID。

主服务器接收到psync命令时,需要判断命令参数运行ID与自己的运行ID是否相等,只有相等才有可能执行部分重同步。而当从服务器首次请求主服务器同步数据时,从服务器显然是不知道主服务器的运行ID,此时运行ID以“?”填充,同时复制偏移量初始化为-1。

从上面的分析我们可以得到psync命令格式为“psync <MASTER_RUN_ID> <OFFSET>”,主从复制初始化流程如图1所示。

从图1可以看到,当主服务器判断可以执行部分重同步时向从服务器返回“+CON-TINUE”;需要执行完整重同步时向从服务器返回“+FULLRESYNC RUN_ID OFFSET”,其中RUN_ID为主服务器自己的运行ID,OFFSET为复制偏移量。

▲图1 主从复制初始化流程图

可以看到执行部分重同步的要求还是比较严格的:

  1. RUN_ID必须相等;

  2. 复制偏移量必须包含在复制缓冲区中。

然而在生产环境中,经常会出现以下两种情况:

  • 从服务器重启(复制信息丢失);

  • 主服务器故障导致主从切换(从多个从服务器重新选举出一台机器作为主服务器,主服务器运行ID发生改变)。

这时显然是无法执行部分重同步的,而这两种情况又很常见,因此Redis 4.0针对主从复制又提出了两点优化,提出了psync2协议。

  • 方案1:持久化主从复制信息

Redis服务器关闭时,将主从复制信息(复制的主服务器RUN_ID与复制偏移量)作为辅助字段存储在RDB文件中;Redis服务器启动加载RDB文件时,恢复主从复制信息,重新同步主服务器时携带。持久化主从复制信息代码如下:

if (rdbSaveAuxFieldStrStr(rdb,"repl-id",server.replid)== -1) return -1;if (rdbSaveAuxFieldStrInt(rdb,"repl-offset",server.master_repl_offset)== -1) return -1;

  • 方案2:存储上一个主服务器复制信息

当主服务器发生故障,自己成为新的主服务器时,使用变量server.replid2和server.second_replid_offset存储之前主服务器的运行ID与复制偏移量:

void shiftReplicationId(void) {memcpy(server.replid2,server.replid,sizeof(server.replid));server.second_replid_offset = server.master_repl_offset+1;changeReplicationId();
}

另外判断是否能执行部分重同步的条件也改变为:

if (strcasecmp(master_replid, server.replid) &&(strcasecmp(master_replid, server.replid2) ||psync_offset > server.second_replid_offset))
{goto need_full_resync;
}

假设m为主服务器(运行ID为M_ID),A、B和C为三个从服务器;某一时刻主服务器m发生故障,从服务器A升级为主服务器(同时会记录replid2=M_ID),从服务器B和C重新向主服务器A发送“psync M_ID psync_offset”请求;显然根据上面条件,只要psync_offset满足条件,就可以执行部分重同步。

关于作者:李乐,好未来PHP工程师,西安电子科技大学硕士,乐于钻研技术与源码研究,对Redis和Nginx有较深理解。合著书籍《Redis 5设计与源码分析》。
本文摘编自《Redis 5设计与源码分析》,经出版方授权发布。
延伸阅读《Redis 5设计与源码分析》
点击上图了解及购买
转载请联系微信:DoctorData
推荐语:好未来、滴滴、百度等公司专家联合撰写,掌握Redis 5设计与命令实现,透彻掌握分布式缓存。深入理解Redis 5设计精髓。本书系统讲解Redis 5设计、数据结构、底层命令实现,以及持久化、主从复制、集群的实现。

有话要说?
Q: 关于Redis主从复制,你还有哪些疑问?
欢迎留言与大家分享
猜你想看?
更多精彩?
在公众号对话框输入以下关键词
查看更多优质内容!
PPT | 报告 | 读书 | 书单 | 干货 
大数据 | 揭秘 | Python | 可视化
AI | 人工智能 | 5G | 中台
机器学习 | 深度学习 | 神经网络
合伙人 1024 | 段子 | 数学

据统计,99%的大咖都完成了这个神操作
?
觉得不错,请把这篇文章分享给你的朋友
转载 / 投稿请联系:baiyu@hzbook.com
更多精彩,请在后台点击“历史文章”查看

点击阅读原文,了解更多

Redis如何高效可靠地实现主从复制?终于有人讲明白了相关推荐

  1. 贯穿计算机系统所有方面的重要概念,终于有人讲明白了

    导读:我们在此强调几个贯穿计算机系统所有方面的重要概念.我们会在本文多处讨论这些概念的重要性. 作者:Randal E. Bryant,David R. O'Hallaron 来源:华章计算机(hzb ...

  2. 什么是HBase?它是怎样工作的?终于有人讲明白了

    导读:HBase是一个构建在HDFS之上的.分布式的.支持多版本的NoSQL数据库,它的出现补齐了大数据场景下快速查询数据能力的短板.它非常适用于对平台中的热数据进行存储并提供查询功能. 作者:朱凯 ...

  3. 什么是机器学习?有哪些分类?怎样上手开发?终于有人讲明白了

    导读:本文首先介绍何谓机器学习,以及与机器学习相关的基本概念,这是学习和理解机器学习的基础.按照学习方式的不同,机器学习可以分为不同类型,如监督学习.无监督学习.强化学习等,本文会详细介绍它们各自的特 ...

  4. 什么是机器学习?有哪些应用?终于有人讲明白了

    导读:人工智能的快速发展,带动了相关技术的繁荣.近些年,国内外的科技公司对机器学习人才都有大量需求.怎样入行机器学习?本文带你从0开始学起. 作者:星环科技人工智能平台团队 来源:大数据DT(ID:h ...

  5. rds基于什么开发_IaaS、PaaS、SaaS、DaaS都是什么?现在怎么样了?终于有人讲明白了...

    导读:本文将详细科普云计算的概念.云服务的发展现状,并逐一介绍各种云服务模式(IaaS.PaaS.SaaS.DaaS),建议收藏! 01 云计算的概念 云是一种服务,可以像使用水.电.煤那样按需使用. ...

  6. 什么是YARN?跟HBase和Spark比优势在哪?终于有人讲明白了

    导读:HBase没有资源什么事情也做不了,Spark占用了资源却没有事情可做?YARN了解一下. 作者:朱凯 来源:大数据DT(ID:hzdashuju) 01 概述 随着Hadoop生态的发展,开源 ...

  7. 什么是云原生,跟云计算有什么关系?终于有人讲明白了

    导读:云原生到底是什么? 作者:阿里集团 阿里云智能事业群 云原生应用平台 来源:大数据DT(ID:hzdashuju) 云原生(Cloud Native)的概念,最早是由Pivotal于2015年提 ...

  8. Netflix正在搞的混沌工程到底是什么?终于有人讲明白了

    导读:与任何新概念一样,混沌工程时常被误解.本文会探讨混沌工程是什么以及不是什么. 作者:Casey Rosenthal, Nora Jones 来源:大数据DT(ID:hzdashuju) 在Net ...

  9. 什么是物联网?有哪些应用?终于有人讲明白了

    作者:佩里·利(Perry Lea) 来源:大数据DT(ID:hzdashuju) 我们将从连接设备的角度来研究物联网,这些设备之前未必相互连接或接入互联网.它们可能一直没有太多的计算或通信能力.我们 ...

最新文章

  1. MCMC笔记:MCMC的不足
  2. tp5 iis7 404 解决方案
  3. c/c++ base64编码后,通过php解码,中文乱码解决办法
  4. android 按钮吐司,Android控件系列之Toast使用介绍
  5. Vue中的 ref 和 $refs
  6. Python tutor 简介
  7. win32bridge.server.exe函数不正确_修电脑?不,其实我们学的是......
  8. 信息安全工程师笔记-云计算安全需求分析与安全保护工程
  9. 小米9/红米Note 7开放“周末加场” 今日两次抢购机会
  10. 【linux系统编程】linux用户及权限管理
  11. 胡桂珍c语言期末考试题,C程序设计教程
  12. zabbix官方文档磁盘统计
  13. 3389服务器信息是什么意思,服务器3389端口监控问题
  14. python一维数组排序_【Python】数组排序
  15. modbus-tcp协议通过Java代码获取从机数据
  16. matlab sfp,eeglab工具箱
  17. 对物联网的感悟_物联网学习心得
  18. 数据库系统是采用数据库技术的计算机系统,1数据库系统是采用了数据库技术的计算机系统.doc...
  19. Fortran相关图书推荐
  20. 鸿蒙HarmonyOS,真的来了!

热门文章

  1. Linux笔记-centos7源码安装Mysql5.6(图解详细)
  2. 达梦工作笔记-达梦客户端,执行命令后要保存退出,才生效
  3. 系统架构师学习笔记-信息系统基础知识
  4. Qt工作笔记-undefined reference to `vtable for MyObject'及对moc文件的进一步理解
  5. java基本数据类型的标识符_java基础(一)-标识符、变量、基本数据类型及转换、运算符及表达式...
  6. 华为云牵手同舟共济伙伴 持续发力构建云核心生态圈
  7. 神经网络python识别词语_请教关于python的手写数字识别神经网络问题~~~~
  8. matlab模拟简单孔径衍射图样,夫琅和费衍射实验文献综述
  9. libevent evhttp学习——http客户端
  10. C++调用方式 入栈顺序