Redis主从同步（详解+图）
目录
redis主从同步
全量同步
master如何判断一个slave是否是第一次同步？
全量同步过程
增量同步
增量同步过程
repl_baklog原理
可以从以下几个方面来优化Redis主从就集群：
全量同步和增量同步区别？
什么时候执行全量同步？
什么时候执行增量同步？
搭建Redis主从同步架构
主从从架构图：
准备实例和配置
启动
开启主从关系
测试
redis主从同步
假设有A、B两个实例，如何让B作为A的slave节点？
在B节点执行命令：slaveof A的IP A的端口
全量同步
主从第一次连接时会执行全量同步，将master节点所有的数据拷贝给slave节点
master如何判断一个slave是否是第一次同步？
【slave原本也是一个master,有自己的replication id和offset,与master连接时，将自己的relication id 和offset发送给master,master收到relication id后，发现与自己的relication id不一致，master就可以判断该slave是第一次连接，于是开始全量同步，master会将自己的replid和offset都发送给这个slave，slave保存这些信息，master和slave的replid就保持一致了】
全量同步过程
- slave节点请求增量同步
- master检查replid不一致，拒绝增量同步，开始全量同步
- master将完整的内存数据生成RDB文件，发送给slave
- slave清空本地数据，加载RDB文件
- master将RDB期间接收到的命令记录在repl_baklog，并持续将log中的命令发送给slave
- slave执行接收到的命令，与master保持同步
增量同步
增量同步过程
- slave请求增量同步
- master检查replid是否一致？
不一致：全量同步
一致：去repl_baklog中获取offset后的数据
- 发送offset后的命令
- 执行命令
master与slave的数据差异部分在repl_baklog文件，repl_baklog中会记录Redis处理过的命令日志及offset，包括master当前的offset，和slave已经拷贝到的offset；
slave和master的offset之间的差异就是slave需要拷贝的数据了；
repl_baklog原理
repl_baklog这个文件是一个固定大小的数组，只不过数组是环形，也就是说角标到达数组末尾后，会再次从0开始读写，这样数组头部的数据就会被覆盖。
数组一旦写满，再有新数据写入时，就会覆盖数组的旧数据。此时slave来增量同步，发现自己offset已经被覆盖了，此时只能全量同步。
可以从以下几个方面来优化Redis主从就集群：
- 在master中配置repl-diskless-sync yes启用无磁盘复制，避免全量同步时的磁盘IO。
- Redis单节点上的内存占用不要太大，减少RDB导致的过多磁盘IO
- 适当提高repl_baklog的大小，发现slave宕机时尽快实现故障恢复，尽可能避免全量同步
- 限制一个master上的slave节点数量，如果实在是太多slave，则可以采用主-从-从链式结构，减少master压力
全量同步和增量同步区别？
全量同步：master将完整内存数据生成RDB，发送RDB到slave。后续命令则记录在repl_baklog，逐个发送给slave。
增量同步：slave提交自己的offset到master，master获取repl_baklog中从offset之后的命令给slave
什么时候执行全量同步？
slave节点第一次连接master节点时
slave节点断开时间太久，repl_baklog中的offset已经被覆盖时
什么时候执行增量同步？
slave节点断开又恢复，并且在repl_baklog中能找到offset时
搭建Redis主从同步架构
主从从架构图：
共包含三个节点，一个主节点，两个从节点。
这里我们会在同一台虚拟机中开启3个redis实例，模拟主从集群，信息如下：
| ip | port | 角色 |
| 192.168.150.101 | 7001 | master |
| 192.168.150.101 | 7002 | slave |
| 192.168.150.101 | 7003 | slave |
准备实例和配置
要在同一台虚拟机开启3个实例，必须准备三份不同的配置文件和目录，配置文件所在目录也就是工作目录。
1）创建目录
我们创建三个文件夹，名字分别叫7001、7002、7003：
# 进入/tmp目录
cd /tmp
# 创建目录
mkdir 7001 7002 7003如图：
2）恢复原始配置
修改redis-6.2.4/redis.conf文件，将其中的持久化模式改为默认的RDB模式，AOF保持关闭状态。
# 开启RDB
# save ""
save 3600 1
save 300 100
save 60 10000# 关闭AOF
appendonly no3）拷贝配置文件到每个实例目录
然后将redis-6.2.4/redis.conf文件拷贝到三个目录中（在/tmp目录执行下列命令）：
# 方式一：逐个拷贝
cp redis-6.2.4/redis.conf 7001
cp redis-6.2.4/redis.conf 7002
cp redis-6.2.4/redis.conf 7003
# 方式二：管道组合命令，一键拷贝
echo 7001 7002 7003 | xargs -t -n 1 cp redis-6.2.4/redis.conf4）修改每个实例的端口、工作目录
修改每个文件夹内的配置文件，将端口分别修改为7001、7002、7003，将rdb文件保存位置都修改为自己所在目录（在/tmp目录执行下列命令）：
sed -i -e 's/6379/7001/g' -e 's/dir .\//dir \/tmp\/7001\//g' 7001/redis.conf
sed -i -e 's/6379/7002/g' -e 's/dir .\//dir \/tmp\/7002\//g' 7002/redis.conf
sed -i -e 's/6379/7003/g' -e 's/dir .\//dir \/tmp\/7003\//g' 7003/redis.conf5）修改每个实例的声明IP
虚拟机本身有多个IP，为了避免将来混乱，我们需要在redis.conf文件中指定每一个实例的绑定ip信息，格式如下：
# redis实例的声明 IP
replica-announce-ip 192.168.150.101每个目录都要改，我们一键完成修改（在/tmp目录执行下列命令）：
# 逐一执行
sed -i '1a replica-announce-ip 192.168.150.101' 7001/redis.conf
sed -i '1a replica-announce-ip 192.168.150.101' 7002/redis.conf
sed -i '1a replica-announce-ip 192.168.150.101' 7003/redis.conf# 或者一键修改
printf '%s\n' 7001 7002 7003 | xargs -I{} -t sed -i '1a replica-announce-ip 192.168.150.101' {}/redis.conf启动
为了方便查看日志，我们打开3个ssh窗口，分别启动3个redis实例，启动命令：
# 第1个
redis-server 7001/redis.conf
# 第2个
redis-server 7002/redis.conf
# 第3个
redis-server 7003/redis.conf启动后：
如果要一键停止，可以运行下面命令：
printf '%s\n' 7001 7002 7003 | xargs -I{} -t redis-cli -p {} shutdown开启主从关系
现在三个实例还没有任何关系，要配置主从可以使用replicaof 或者slaveof（5.0以前）命令。
有临时和永久两种模式：
修改配置文件（永久生效）
在redis.conf中添加一行配置：slaveof <masterip> <masterport>
使用redis-cli客户端连接到redis服务，执行slaveof命令（重启后失效）：
slaveof <masterip> <masterport>
注意：在5.0以后新增命令replicaof，与salveof效果一致。
这里我们为了演示方便，使用方式二。
通过redis-cli命令连接7002，执行下面命令：
# 连接 7002
redis-cli -p 7002
# 执行slaveof
slaveof 192.168.150.101 7001通过redis-cli命令连接7003，执行下面命令：
# 连接 7003
redis-cli -p 7003
# 执行slaveof
slaveof 192.168.136.129 7001然后连接 7001节点，查看集群状态：
# 连接 7001
redis-cli -p 7001
# 查看状态
info replication结果：
测试
执行下列操作以测试：
利用redis-cli连接7001，执行
set num 123利用redis-cli连接7002，执行
get num，再执行set num 666利用redis-cli连接7003，执行
get num，再执行set num 888
可以发现，只有在7001这个master节点上可以执行写操作，7002和7003这两个slave节点只能执行读操作。
Redis主从同步（详解+图）相关推荐
- MySQL主从同步详解与配置
https://zhuanlan.zhihu.com/p/335142300 MySQL主从同步详解与配置 第一部分[原理解析] * 应用背景* MySQL数据库自身提供的主从复制功能可以方便的实现数 ...
- mysql同步详解_MYSQL 主从同步详解
MYSQL 主从同步详解 作者: 稀土掘金 更新时间:2021-01-22 15:08:29 原文链接 关于MYSQL主从同步 什么是MYSQL的主从复制 主从复制是指将一个服务器作为主服务器,所有的 ...
- Python开发之：Django基于Docker实现Mysql数据库读写分离、集群、主从同步详解 | 原力计划...
作者 | Pythonicc 责编 | 王晓曼 出品 | CSDN博客 简介 1.什么是数据库读写分离 读写分离,基本的原理是让主数据库处理事务性增.改.删操作(INSERT.UPDATE.DELET ...
- ceph集群和数据库到底是储存数据_Python开发之：Django基于Docker实现Mysql数据库读写分离、集群、主从同步详解 | 原力计划...
作者 | Pythonicc责编 | 王晓曼出品 | CSDN博客简介1.什么是数据库读写分离读写分离,基本的原理是让主数据库处理事务性增.改.删操作(INSERT.UPDATE.DELETE),而从 ...
- Broker主从同步详解
文章目录 主从同步概述 主从同步流程 名词解释 配置数据同步流程 CommitLog数据同步流程 异步复制 Slave -> Master *ReadSocketService*:Master接 ...
- 【Redis】Redis学习（三） Redis 主从模式详解
不管任何程序,只运行一个实例都是不可靠的,一旦因为网络原因导致所在机器不可达,或者所在服务器挂掉,那么这个程序将不能对外提供服务了,Redis也是一样的.不过Redis的主从并不是解决这个问题的,一些 ...
- mysql 同步方式_MYSQL 主从同步详解
关于MYSQL主从同步 什么是MYSQL的主从复制 主从复制是指将一个服务器作为主服务器,所有的数据更新操作都在主服务器进行,并且将主服务器的数据同步到一个或多个从服务器,保证从服务器和主服务器的数据 ...
- mysql 主从同步权限_MYSQL 主从同步详解
关于MYSQL主从同步 什么是MYSQL的主从复制 主从复制是指将一个服务器作为主服务器,所有的数据更新操作都在主服务器进行,并且将主服务器的数据同步到一个或多个从服务器,保证从服务器和主服务器的数据 ...
- Redis主从同步机制详解
1.什么是高可用? 单机redis支撑的并发量有限(一般QPS在1W-几W不等),如果并发量大可能导致redis挂掉:redis配置不合理,fork子进程同步也可能导致redis挂掉(伪挂):操作系统 ...
最新文章
- LeetCode刷题-3
- openlayers2中selectcontrol用法
- SAP Cloud for Customer interaction center 呼叫中心集成
- Codeforces Round #700 (Div. 1) C. Continuous City 构造 + 二进制
- jenkins重启 linux_在Linux中，Jenkins无法启动
- python语句print(type)的输出结果是_Python语句print(type({ }))的输出结果是( )。_学小易找答案...
- strut2_struts.xml文件配置知识点汇集
- (转)全球最权威人脸识别测试PK
- mysql字符类型_MySQL学习分享--字符类型
- java+手机点菜_5.餐厅点餐系统（源码+数据库）
- 常用软件的替代软件 (免费和自由软件)
- Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction
- [归并排序]leetcode327：区间和的个数(hard)
- 用python画哆啦a梦的头_用 Python 画个哆啦A梦
- mysql分数占百分比查询
- 服务器做RAID，各个RAID特点
- USB PD 3.0快充 （Power Delivery ）
- 【RegExp】正则表达式
- ubuntu14.04下Andriod2.3.1编译环境的搭建
- 中断处理 - 操作系统