Redis如何保证高并发,高可用?

高并发:redis的单机吞吐量可以达到几万不是问题,如果想提高redis的读写能力,可以用redis的主从架构,redis天热支持一主多从的准备模式,单主负责写请求多从负责读请求,主从之间异步复制,把主的数据同步到从。

高可用:首先利用redis的主从架构解决redis的单点故障导致的不可用,然后如果使用的是主从架构,那么只需要增加哨兵机制即可,就可以实现,redis主实例宕机,自动会进行主备切换。以此来达到redis的高可用。

你刚才说主从复制,那你能具体聊一下主从复制的原理吗?

在redis主从架构中,master负责接收写请求,写操作成功后返回客户端OK,然后后将数据异步的方式发送给多个slaver进行数据同步,不过从redis 2.8开始,slave node会周期性地确认自己每次复制的数据量。

当启动一个slave node的时候,它会发送一个PSYNC命令给master node。如果slave node是重新连接master node,那么master node仅仅会复制给slave部分缺少的数据; 否则如果是slave node第一次连接master node,那么会触发一次full resynchronization全量复制。

开始full resynchronization的时候,master会启动一个后台线程,开始生成一份RDB快照文件,同时还会将从客户端收到的所有写命令缓存在内存(内存缓冲区)中。RDB文件生成完毕之后,master会将这个RDB发送给slave,slave会先写入本地磁盘,然后再从本地磁盘加载到内存中。然后master会将内存中缓存的写命令发送给slave,slave也会同步这些数据。

另外slave node做复制的时候,是不会block master node的正常工作的,也不会block对自己的查询操作,它会用旧的数据集来提供服务; 但是复制完成的时候,需要删除旧数据集,加载新数据集,这个时候就会暂停对外服务了。slave node主要用来进行横向扩容,做读写分离,扩容的slave node可以提高读的吞吐量。slave与高可用性有很大的关系。

Tips:边讲边画图最好了。

主从复制的过程中如果因为网络原因停止复制了会怎么样?

如果出现网络故障断开连接了,会自动重连的,从redis 2.8开始,就支持主从复制的断点续传,可以接着上次复制的地方,继续复制下去,而不是从头开始复制一份。

master如果发现有多个slave node都来重新连接,仅仅会启动一个rdb save操作,用一份数据服务所有slave node。

master node会在内存中创建一个backlog,master和slave都会保存一个replica offset,还有一个master id,offset就是保存在backlog中的。如果master和slave网络连接断掉了,slave会让master从上次的replica offset开始继续复制。

但是如果没有找到对应的offset,那么就会执行一次resynchronization全量复制。

好的,那你能说说什么是哨兵有什么作用吗?

哨兵是redis集群架构中非常重要的一个组件,主要功能如下

(1)集群监控,负责监控redis master和slave进程是否正常工作

(2)消息通知,如果某个redis实例有故障,那么哨兵负责发送消息作为报警通知给管理员

(3)故障转移,如果master node挂掉了,会自动转移到slave node上

(4)配置中心,如果故障转移发生了,通知client客户端新的master地址

哨兵本身也是分布式的,作为一个哨兵集群去运行,互相协同工作

(1)故障转移时,判断一个master node是宕机了,需要大部分的哨兵都同意才行,涉及到了分布式选举的问题

(2)即使部分哨兵节点挂掉了,哨兵集群还是能正常工作的,因为如果一个作为高可用机制重要组成部分的故障转移系统本身是单点的,那就很坑爹了。

目前采用的是sentinal 2版本,sentinal 2相对于sentinal 1来说,重写了很多代码,主要是让故障转移的机制和算法变得更加健壮和简单。

如果有面试问题的可以一起来探讨:https://shimo.im/docs/VqQR6tPrpR3C3tjq/

为什么redis哨兵集群只有2个节点无法正常工作?

如果两个哨兵实例,即两个redis实例,一主一从的模式。

则redis的配置quorum=1,表示一个哨兵认为master宕机即可认为master已宕机。

但是如果是机器1宕机了,那哨兵1和master都宕机了,虽然哨兵2知道master宕机了,但是这个时候,需要majority,也就是大多数哨兵都是运行的,2个哨兵的majority就是2(2的majority=2,3的majority=2,5的majority=3,4的majority=2),2个哨兵都运行着,就可以允许执行故障转移。

但此时哨兵1没了就只有1个哨兵了了,此时就没有majority来允许执行故障转移,所以故障转移不会执行。

主备切换的时候会有数据丢失的可能吗?

会有,而且有两种可能,一种是异步复制,一种是脑裂导致的数据丢失。

简单描述一下这两种数据丢失的过程吧

好的,第一种很好理解,因为master 到 slave的复制是异步的,所以可能有部分数据还没复制到slave的时候,master就宕机了,此时这些部分数据就丢失了。虽然master会做持久化,但是哨兵将slave提升为master后,如果旧的master这时候好了,会当做slave挂到新的master上,从新的master同步数据,原来的数据还是会丢失。

第二种,也就是说,某个master所在机器突然脱离了正常的网络,跟其他slave机器不能连接,但是实际上master还运行着,即集群分区现象。此时哨兵可能就会认为master宕机了,然后开启选举,将其他slave切换成了master.

这个时候,集群里就会有两个master,也就是所谓的脑裂。

此时虽然某个slave被切换成了master,但是可能client还没来得及切换到新的master,还继续向旧master写数据,这部分数据可能就丢失了。因此旧master再次恢复的加入到主从结构中时,会被作为一个slave挂到新的master上去,自己的数据会清空,重新从新的master复制数据,原来的写到旧master的数据就丢失了。

那有什么办法解决这个数据丢失的问题吗?

数据丢失的问题是不可避免的,但是我们可以尽量减少。

在redis的配置文件里设置参数

min-slaves-to-write 1

min-slaves-max-lag 10

min-slaves-to-write默认情况下是0,min-slaves-max-lag默认情况下是10。

上面的配置的意思是要求至少有1个slave,数据复制和同步的延迟不能超过10秒。如果说一旦所有的slave,数据复制和同步的延迟都超过了10秒钟,那么这个时候,master就不会再接收任何请求了。

上面两个配置可以减少异步复制和脑裂导致的数据丢失。

设置了这俩参数具体是怎么减少数据丢失的呢?

以上面配置为例,这两个参数表示至少有1个salve的与master的同步复制延迟不能超过10s,一旦所有的slave复制和同步的延迟达到了10s,那么此时master就不会接受任何请求。

我们可以减小min-slaves-max-lag参数的值,这样就可以避免在发生故障时大量的数据丢失,一旦发现延迟超过了该值就不会往master中写入数据。

那么对于client,我们可以采取降级措施,将数据暂时写入本地缓存和磁盘中,在一段时间后重新写入master来保证数据不丢失;也可以将数据写入kafka消息队列,隔一段时间去消费kafka中的数据。

通过上面两个参数的设置我们尽可能的减少数据的丢失,具体的值还需要在特定的环境下进行测试设置。

redis哨兵主从不切换_《「面试突击」—Redis篇》-- Redis的主从复制?哨兵机制?...相关推荐

  1. 后台接收数组_「面试必备」最新整理出的腾讯C++后台开发面试笔记

    文章是由笔试面试腾讯笔记整理而来,主要是针对面试的C++后台开发岗位,涵盖了大部分C++后台开发相关可能会考察和被问到的技术点. 自认为这篇笔记是比较全面的总结,不管你是已经工作准备参加社招,还是在校 ...

  2. 虚拟机的分类_「面试必备」Java虚拟机知识点复习手册(下)

    关注我的微信公众号:后端技术漫谈 不定期推送关于后端开发.爬虫.算法题.数据结构方面的原创技术文章,以及生活中的逸闻趣事. 我目前是一名后端开发工程师.主要关注后端开发,数据安全,网络爬虫,物联网,边 ...

  3. 无法绑定由多个部分组成的标识符_「计算机组成原理」:I/O系统整体管理机制...

    计算机中输入信息,输出结果的部分是I/O系统.没有I/O系统,人们无法使用计算机,计算机将没有意义. I/O系统结构: I/O设备管理: 应用程序若想访问磁盘上文件,要多经过文件系统,之后通过I/O设 ...

  4. redis的主从自动切换

    设置redis主从主要是在不同的主机上编辑配置文件 我们准备三台主机 分别是server1.server2.server3 redis的主从自动切换是基于sentinel(哨兵) 1.Redis 的 ...

  5. 面试突击第 3 期 | Redis 如何实现查询附近的人?视频实战版

    这是我的第 33 篇原创文章 作者 | 王磊 (javacn666) 1 面试问题 Redis 如何实现查询附近的人? 2 相关面试问题 Redis 中如何操作位置信息? GEO 底层是如何实现的? ...

  6. redis配置主从没效果_跟我一起学Redis之加个哨兵让主从复制更加高可用

    Redis哨兵(Sentinel)其实本质就是一个RedisServer节点,通过设置 运行模式 来开启哨兵的功能:主要功能如下: 监控(Monitoring ):哨兵节点会不断地检查的主服务和从服务 ...

  7. 为什么自己编写的页面总是在那里抖动_「内存抖动」?别再吓唬面试者们了行吗...

    视频版本 本文在 B 站有对应的视频,如果你喜欢看视频版本,可以点 这里 去哔哩哔哩观看,或者点 这里 去 YouTube 观看. 从「内存抖动」说起 面试官:你做过性能优化是吧. 面试者:嗯是的,在 ...

  8. springboot redis 刷新时间_「SpringBoot实战」SpringCache + Redis实现数据缓存

    关注我的微信公众号:后端技术漫谈 不定期推送关于后端开发.爬虫.算法题.数据结构方面的原创技术文章,以及生活中的逸闻趣事. 我目前是一名后端开发工程师.主要关注后端开发,数据安全,网络爬虫,物联网,边 ...

  9. linux加权_「学员笔记」LINUX随堂笔记(十一):LVS负载均衡群集

    第12章 LVS负载均衡群集 一.群集概述 1.1 群集的类型 无论是哪种群集,都至少包括两台节点服务器,而对外表现为一个整体,只提供一个访问入口(域名或IP地址),相当于一台大型计算机,根据群集所提 ...

最新文章

  1. linux c++ 警告: ISO C++ forbids converting a string constant to char*
  2. 用DocumentFragments或innerHTML取代复杂的元素注入
  3. Druid 配置_StatViewServlet配置
  4. Go中的三种排序方法
  5. crontab java job_crontab 定时任务
  6. Docker工作笔记001---Docker的简介
  7. 看完你自己也能创建个小Linux
  8. C++ 动态库、静态库、__declspec(dllexport)、符号隐藏、gcc visibility (“default“)
  9. 华氏温度和摄氏温度互换
  10. 做好职业规划,做一个平凡而不平庸的自己
  11. 树莓派+传感器+公网服务器 组件自己的物联网平台(四)制作一个智能鱼缸
  12. 新猿木子李:0基础学python培训教程 Python操作Redis只列表类型
  13. 医疗后台管理系统项目
  14. Android分屏模式代码实现
  15. android-下拉更多列表
  16. 人工智能入门教材,我来推荐
  17. 关于我上传的资源!!
  18. AI将带我们去何方?(上-前言篇)
  19. MySQL 数据库基础(1)
  20. macOS pyinstaller打包python程序, subprocess无法运行

热门文章

  1. 中柏平板u盘启动_中柏电脑如何设置BIOS U盘启动
  2. JavaSE——Java介绍与环境变量简述
  3. Python学习笔记(运算符)
  4. 利用flask写的接口(base64, 二进制, 上传视频流)+异步+gunicorn部署Flask服务+多gpu卡部署
  5. 【每日SQL打卡】​​​​​​​​​​​​​​​DAY 26丨广告效果【难度简单】​
  6. SQL模糊查询语句和Escape转义字符
  7. displaytag 相关
  8. 通过printf从目标板到调试器的输出
  9. [Cordova]JS和Native交互实现关键代码(iOS)
  10. 个人和结对项目 - 英语单词词频统计