点击上方“方志朋”,选择“设为星标”

回复”666“获取新整理的面试资料

作者:LoyaltyLu

segmentfault.com/a/1190000018268350

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。从2010年3月15日起,Redis的开发工作由VMware主持。从2013年5月开始,Redis的开发由Pivotal赞助。

概述

在现有企业中80%公司大部分使用的是redis单机服务,在实际的场景当中单一节点的redis容易面临风险。

面临问题

机器故障。我们部署到一台 Redis 服务器,当发生机器故障时,需要迁移到另外一台服务器并且要保证数据是同步的。而数据是最重要的,如果你不在乎,基本上也就不会使用 Redis 了。

容量瓶颈。当我们有需求需要扩容 Redis 内存时,从 16G 的内存升到 64G,单机肯定是满足不了。当然,你可以重新买个 128G 的新机器。

解决办法

要实现分布式数据库的更大的存储容量和承受高并发访问量,我们会将原来集中式数据库的数据分别存储到其他多个网络节点上。

Redis 为了解决这个单一节点的问题,也会把数据复制多个副本部署到其他节点上进行复制,实现 Redis的高可用,实现对数据的冗余备份,从而保证数据和服务的高可用。

主从复制

什么是主从复制

主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(master),后者称为从节点(slave),数据的复制是单向的,只能由主节点到从节点。

默认情况下,每台Redis服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。

主从复制的作用

  • 数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。

  • 故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。

  • 负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量。

  • 读写分离:可以用于实现读写分离,主库写、从库读,读写分离不仅可以提高服务器的负载能力,同时可根据需求的变化,改变从库的数量;

  • 高可用基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础。

主从复制启用

从节点开启主从复制,有3种方式:

  • 配置文件: 在从服务器的配置文件中加入:slaveof <masterip> <masterport>

  • 启动命令: redis-server启动命令后加入 --<masterip> <masterport>

  • 客户端命令: Redis服务器启动后,直接通过客户端执行命令:slaveof <masterip>  。<masterport>,则该Redis实例成为从节点。

通过 info replication 命令可以看到复制的一些信息

主从复制原理

主从复制过程大体可以分为3个阶段:连接建立阶段(即准备阶段)、数据同步阶段、命令传播阶段。

在从节点执行 slaveof 命令后,复制过程便开始运作,下面图示大概可以看到,从图中可以看出复制过程大致分为6个过程

主从配置之后的日志记录也可以看出这个流程

1)保存主节点(master)信息。

执行 slaveof 后 Redis 会打印如下日志:

2)从节点(slave)内部通过每秒运行的定时任务维护复制相关逻辑,当定时任务发现存在新的主节点后,会尝试与该节点建立网络连接

从节点与主节点建立网络连接

从节点会建立一个 socket 套接字,从节点建立了一个端口为51234的套接字,专门用于接受主节点发送的复制命令。从节点连接成功后打印如下日志:

如果从节点无法建立连接,定时任务会无限重试直到连接成功或者执行 slaveof no one 取消复制

关于连接失败,可以在从节点执行 info replication 查看 master_link_down_since_seconds 指标,它会记录与主节点连接失败的系统时间。从节点连接主节点失败时也会每秒打印如下日志,方便发现问题:

# Error condition on socket for SYNC: {socket_error_reason}

3)发送 ping 命令。

连接建立成功后从节点发送 ping 请求进行首次通信,ping 请求主要目的如下:

  • 检测主从之间网络套接字是否可用。

  • 检测主节点当前是否可接受处理命令。

如果发送 ping 命令后,从节点没有收到主节点的 pong 回复或者超时,比如网络超时或者主节点正在阻塞无法响应命令,从节点会断开复制连接,下次定时任务会发起重连。

从节点发送的 ping 命令成功返回,Redis 打印如下日志,并继续后续复制流程:

4)权限验证。如果主节点设置了 requirepass 参数,则需要密码验证,从节点必须配置 masterauth 参数保证与主节点相同的密码才能通过验证;如果验证失败复制将终止,从节点重新发起复制流程。

5)同步数据集。主从复制连接正常通信后,对于首次建立复制的场景,主节点会把持有的数据全部发送给从节点,这部分操作是耗时最长的步骤。

6)命令持续复制。当主节点把当前的数据同步给从节点后,便完成了复制的建立流程。接下来主节点会持续地把写命令发送给从节点,保证主从数据一致性。

热门内容:

  • 阿里面试官:分别说说微信和淘宝扫码登录背后的实现原理?

  • 腾讯万亿级 Elasticsearch 技术解密

  • 为什么很多SpringBoot开发者放弃了Tomcat,选择了Undertow

  • 天天用事务,但是你知道MySQL事务的实现原理吗?

  • fastjson这么快,为啥老外还是热衷 jackson?

  • 如何优雅的设计java异常

  • Spring MVC+Spring+Mybatis实现支付宝支付功能(图文详解+完整代码)

  • 互联网公司的中年人都去哪了?

  • Github 标星 11.5K!这可能是最好的 Java 博客系统

  • 大批 IDEA 激活码到期之后的乱象...

  • 全面了解 Nginx 主要应用场景

  • 为什么微服务一定要有网关?

  • 那些在一个公司死磕了5-10年的人,最后都怎么样了?

最近面试BAT,整理一份面试资料《Java面试BAT通关手册》,覆盖了Java核心技术、JVM、Java并发、SSM、微服务、数据库、数据结构等等。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

明天见(。・ω・。)ノ♡

来普及一下Redis主从复制以及主从复制原理相关推荐

  1. Redis(二)原理以及主从复制的实现

    1.搭建实验环境 主机信息 IP 主机功能 server1 172.25.35.1 redis主服务器 server2 172.25.35.2 redis从服务器1 server3 172.25.35 ...

  2. redis主从_Redis主从复制部署

    点击上方Java资料社区,选择"置顶公众号" 优质文章,第一时间送达 引言 如果您是初学Redis,建议先阅读上三篇文章"初识Redis"."spri ...

  3. Redis 实战之主从复制、高可用、分布式

    简介 本节内容基于 CentOS 7.4.1708,Redis 3.2.12 环境实验. Redis 是一个开源的高性能键值对数据库. 安装:yum install -y redis 特性: 高性能 ...

  4. Redis进阶之主从复制

    转载自  Redis进阶之主从复制 一.主从复制概述 主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器.前者称为主节点(master),后者称为从节点(slave):数据的复制 ...

  5. Redis 如何实现主从复制

    什么是主从复制(Master/Slave)? 我们的数据一般是存储在数据库中,为了保证数据的高可用,我们一般使用多台数据库服务器做集群.选中其中的一台作为主服务器(Master),其余的作为从服务器( ...

  6. Redis进阶篇主从复制----哨兵模式

    主从复制是什么 主从复制,就是主机数据更新后根据配置和策略,自动同步到备机的master/slaver机制,Master以写为主,Slave以读为主 作用 读写分离,性能扩展 容灾快速恢复 当一个从数 ...

  7. Redis高可用——主从复制、哨兵模式、集群

    文章目录 一.Redis高可用 1.什么是高可用 2.Redis的高可用技术 二.Redis主从复制 1.Redis主从复制的作用 2.主从复制的流程 三.主从复制的搭建 实验准备 1.所有主机安装R ...

  8. Linux企业化运维--(7)redis服务之redis配置及主从复制、主从自动切换、集群、redis+mysql、gearman实现数据同步

    Linux企业化运维 实验所用系统为Redhat-rhel7.6. 目录 Linux企业化运维 Linux企业化运维--(7)redis服务之redis配置及主从复制.主从自动切换.集群.redis+ ...

  9. mysql 只读账号_MySql主从复制,从原理到实践!

    本文将从MySql主从复制的原理出发,详细介绍MySql在Docker环境下的主从复制搭建,以一个主实例和一个从实例实现主从复制为例. 什么是主从复制? 主从复制是指将主数据库的DDL和DML操作通过 ...

  10. java读取mysql配置文件_MySql主从复制,从原理到实践

    推荐阅读: 成功斩获头条offer,Java程序员心得分享给你春招助力 摘要 本文将从MySql主从复制的原理出发,详细介绍MySql在Docker环境下的主从复制搭建,以一个主实例和一个从实例实现主 ...

最新文章

  1. leetcode算法题--连续子数组的最大和
  2. Python os模块常用介绍
  3. SAP CRM Product Relationship的设计原理
  4. echarts vue 柱状图实例_VUE中使用Echarts绘制柱状图
  5. System类,Math类
  6. linux 大数字 进制转换,Linux下用bc快速进行数字进制转换
  7. Python多重继承时属性的调用顺序
  8. Envoy 源码分析--network L4 filter manager
  9. ArcGIS 10.2.2 for Desktop非管理员权限用户连接Oracle12c,崩溃
  10. 阶段3 2.Spring_06.Spring的新注解_8 spring整合junit完成
  11. PSpice的安装及练习一
  12. 即时通讯-Netty篇
  13. [Jenkins]jenkins配置163邮箱做邮件发送
  14. 安全算力护航数字中国|知道创宇亮相CNCERT中国网络安全年会
  15. java使用freemarker模板导出word,合并单元格,单元格内换行
  16. python(pyqt5)多线程解决界面无响应
  17. php动态绘制仪表盘,Pyecharts制作酷炫仪表盘,还能实时更新!
  18. 【cocos2d-x】动作类之缓冲动作和组合动作的使用(变速动作)
  19. 两个多边形定理的证明
  20. codeforces A. Johnny and Ancient Computer

热门文章

  1. 倍增LCA NOIP2013 货车运输
  2. NYOJ-232 How to eat more Banana
  3. NCEPU:线下组队学习周报(011)
  4. 【数据结构】链式栈的实现(C语言)
  5. 数字化探索:建立学习型组织,HR 也能驱动业务营收?
  6. 第九代小冰惊喜登场,多端融合且琴棋书画样样精通
  7. 普诺飞思获创新工场新一轮投资,加速神经拟态视觉传感技术商业化
  8. 写代码时发现......还得是 SpringBoot !一篇拿下
  9. AI时代的幕后英雄:谁在生产高质量的AI训练数据?
  10. 长江存储推消费级固态硬盘,Xtacking技术加持