Redis 低成本、高可用设计,牛逼!
上一篇:3600万中国人在抖音“上清华”
作者:蘑菇先生
出处:http://mushroom.cnblogs.com/
关于Redis高可用方案,看到较多的是keepalived、zookeeper方案。
keepalived是主备模式,意味着总有一台浪费着。
zookeeper工作量成本偏高。
本文主要介绍下使用官方sentinel做redis高可用方案的设计。
Redis Sentinel
Sentinel介绍
Sentinel是Redis官方为集群提供的高可用解决方案。在实际项目中可以使用sentinel去做redis自动故障转移,减少人工介入的工作量。
另外sentinel也给客户端提供了监控消息的通知,这样客户端就可根据消息类型去判断服务器的状态,去做对应的适配操作。
下面是Sentinel主要功能列表:
Monitoring:Sentinel持续检查集群中的master、slave状态,判断是否存活。
Notification:在发现某个redis实例死的情况下,Sentinel能通过API通知系统管理员或其他程序脚本。
Automatic failover:如果一个master挂掉后,sentinel立马启动故障转移,把某个slave提升为master。其他的slave重新配置指向新master。
Configuration provider:对于客户端来说sentinel通知是有效可信赖的。客户端会连接sentinel去请求当前master的地址,一旦发生故障sentinel会提供新地址给客户端。
Sentinel配置
Sentinel本质上只是一个运行在特殊模式下的redis服务器,通过不同配置来区分提供服务。
sentinel.conf配置:
// [监控名称] [ip] [port] [多少sentinel同意才发生故障转移]
sentinel monitor mymaster 127.0.0.1 6379 2
// [监控名称] [Master多少毫秒后不回应ping命令,就认为master是主观下线状态]
sentinel down-after-milliseconds mymaster 60000
// [故障转移超时时间]
sentinel failover-timeout mymaster 180000
//[在执行故障转移时,最多可以有多少个从服务器同时对新的主服务器进行同步]
sentinel parallel-syncs mymaster 1
sentinel需要使用redis2.8版本以上,启动如下:
redis-sentinel sentinel.conf
启动后Sentinel会:
以10秒一次的频率,向被监视的master发送info命令,根据回复获取master当前信息。
以1秒一次的频率,向所有redis服务器、包含sentinel在内发送PING命令,通过回复判断服务器是否在线。
以2秒一次的频率,通过向所有被监视的master,slave服务器发送包含当前sentinel,master信息的消息。
另外建议sentinel至少起3个实例以上,并配置2个实例同意即可发生转移。5个实例,配置3个实例同意以此类推。
故障转移消息接收的3种方式
Redis服务器一旦发送故障后,sentinel通过raft算法投票选举新master。故障转移过程可以通过sentinel的API获取/订阅接收事件消息。Redis 系列面试题和答案我都整理完了,关注公众号互联网架构师回复:2T,可以免费获取哦。
脚本接收
//当故障转移期间,可以指定一个“通知”脚本用来告知系统管理员,当前集群的情况。
//脚本被允许执行的最大时间为60秒,如果超时,脚本将会被终止(KILL)
sentinel notification-script mymaster /var/redis/notify.sh
//故障转移期之后,配置通知客户端的脚本.
sentinel client-reconfig-script mymaster /var/redis/notifyReconfig.sh
客户端直接接收
Sentinel的故障转移消息通知使用的是redis发布订阅,就是说在故障转移期间所有产生的事件信息,都通过频道(channel)发布出去。
比如我们加台slave服务器,sentinel监听到后会发布加slave的消息到"+slave"频道上,客户端只需要订阅"+slave"频道即可接收到对应消息。
其消息格式如下:[实例类型] [事件服务器名称] [服务器ip] [服务器端口] @[master名称] [ip] [端口]
<instance-type> <name> <ip> <port> @ <master-name> <master-ip> <master-port>
通知消息格式示例:
* //订阅类型, *即订阅所有事件消息。
-sdown //消息类型
slave 127.0.0.1:6379 127.0.0.1 6379 @ mymaster 127.0.0.1 6381
订阅消息示例:
using (RedisSentinel rs = new RedisSentinel(CurrentNode.Host, CurrentNode.Port))
{var redisPubSub = new RedisPubSub(node.Host, node.Port);redisPubSub.OnMessage += OnMessage;redisPubSub.OnSuccess += (msg) =>{};redisPubSub.OnUnSubscribe += (obj) =>{};redisPubSub.OnError = (exception) =>{ };redisPubSub.PSubscribe("*");
}
服务间接接收
这种方式在第二种基础上扩展了一层,即应用端不直接订阅sentinel。单独做服务去干这件事情,然后应用端提供API供这个服务回调通知。
这样做的好处在于:
减少应用端监听失败出错的可能性。
应用端由主动方变成被动方,降低耦合。
性能提高,轮询变回调。
独立成服务可扩展性更高。
比如:
1:以后换掉sentinel,我们只需要动服务即可,应用端无需更改。
2:可以在服务内多增加一层守护线程去主动拉取redis状态,这样可确保即使sentinel不生效,也能及时察觉redis状态,并通知到应用端。当然这种情况很极端,因为sentinel配的也是多节点,同时挂的几率非常小。示例:应用端提供回调API,在这个API逻辑下去刷新内存中的Redis连接。
http://127.0.0.1/redis/notify.api
独立服务监控到状况后,调用API通知应用端:
httprequest.post("http://127.0.0/redis/notify.api");
整体设计
推荐使用第三种,其整体流程图如下:
总结
各种sentinel通知消息类型见官方文档,项目中使用的redis客户端在github上。本文分享了楼主在项目中做Redis高可用的经验,希望对大家有所帮助。
在人力物力满足的情况下还是推荐使用zookeeper方案的。只有三五杆枪的情况下也就退而求其次,利用最小成本满足需求并保留可扩展性。
相信没有最好的架构,只有更合适的架构。
参考:http://redis.io/topics/sentinel
关注微信公众号:互联网架构师,在后台回复:2T,可以获取我整理的教程,都是干货。
猜你喜欢
1、GitHub 标星 3.2w!史上最全技术人员面试手册!FackBoo发起和总结
2、如何才能成为优秀的架构师?
3、从零开始搭建创业公司后台技术栈
4、程序员一般可以从什么平台接私活?
5、37岁程序员被裁,120天没找到工作,无奈去小公司,结果懵了...
6、滴滴业务中台构建实践,首次曝光
7、不认命,从10年流水线工人,到谷歌上班的程序媛,一位湖南妹子的励志故事
8、15张图看懂瞎忙和高效的区别
9、2T架构师学习资料干货分享
Redis 低成本、高可用设计,牛逼!相关推荐
- Redis低成本高可用方案设计
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试文章 作者:蘑菇先生 cnblogs.com/mushroom/p/45 ...
- Redis的高可用详解:Redis哨兵、复制、集群的设计原理,以及区别
谈到Redis服务器的高可用,如何保证备份的机器是原始服务器的完整备份呢?这时候就需要哨兵和复制. 哨兵(Sentinel):可以管理多个Redis服务器,它提供了监控,提醒以及自动的故障转移的功能. ...
- 技术分享:从双11看实时数仓Hologres高可用设计与实践
简介:本文将会从阿里巴巴双11场景出发,分析实时数仓面临的高可用挑战以及针对性设计. 2021年阿里巴巴双11完美落下为帷幕,对消费者来说是一场购物盛宴,对背后的业务支撑技术人来说,更是一场年度大考. ...
- Redis 分布式高可用终极指南
最近项目上需要用到 redis 高可用方案,遂上网找了一些资料学习,但是网上关于 redis 高可用的几种实现方式或口径不一,或含糊不清,或缺斤少两.经历了多方资料学习和实际验证,本文试图将 redi ...
- 从双11看实时数仓Hologres高可用设计与实践
2021年阿里巴巴双11完美落下为帷幕,对消费者来说是一场购物盛宴,对背后的业务支撑技术人来说,更是一场年度大考.在这场大考中,一站式实时数仓Hologres以每秒11.2亿条的高速写入,和每秒1.1 ...
- Redis创建高可用集群教程【Windows环境】
模仿的过程中,加入自己的思考和理解,也会有进步和收获. 在这个互联网时代,在高并发和高流量可能随时爆发的情况下,单机版的系统或者单机版的应用已经无法生存,越来越多的应用开始支持集群,支持分布式部署了. ...
- 系统高可用设计与实践
本ppt结合滴滴稳定性团队在QCON全球架构师峰会上的演讲,整理并在内部分享.基本对高可用设计体系和技术点做了全面的介绍.
- 基于keepalived对redis做高可用配置---转载
关于keepalived的详细介绍,请移步本人相关博客:http://wangfeng7399.blog.51cto.com/3518031/1405785 功能 ip地址 安装软件 主redis 1 ...
- Redis|Sentinel 高可用架构
一 前言 Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案,当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的很多客户端 ...
- Redis Cluster高可用(HA)集群环境搭建详细步骤
1.为什么要有集群 由于Redis主从复制架构每个数据库都要保存整个集群中的所有数据,容易形成木桶效应,所以Redis3.0之后的版本添加特性就是集群(Cluster) 2.Redis集群架构说明 架 ...
最新文章
- 建立CentOS 6.9 的Yum本地源
- C++Persistent segment tree持久段树的实现算法(附完整源码)
- nginx同时支持asp.net与php
- 中石油训练赛 - One-Way Conveyors(边双缩点+树上差分)
- win7磁盘清理_为什么要清理磁盘碎片,win7电脑怎么清理磁盘碎片
- vue 历史更新 功能
- 证明的思路 —— 数形结合
- RobotStudio传送带设计
- Mobile端Catalog下面Category的配置步骤
- Atitit.软件按钮与仪表盘(13)--全文索引操作--db数据库子系统mssql2008
- 从开发人员如何走向架构师
- 央行数字货币在技术上是如何实现的
- 【数据结构】从零实现顺序表+链表相关操作
- VBScript编程教程 [上]
- html 页面北京怎么设置,怎么给html设置背景色
- java实现角色+武器攻击小游戏
- matlab qua2d,matlab 几个关于GPS/INS和GPS/AHRS的程序 - 下载 - 搜珍网
- 猴子吃桃问题之暴力解法
- SpringBoot基础学习之整合Swagger框架(上篇)
- maya刷权重时有个叉_为什么maya刷权重 笔刷是打叉
热门文章
- python3 + flask + sqlalchemy +orm(3):多对多关系
- Laravel深入学习3 - 接口约定
- org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
- gvim配置文件参考
- nodejs基础 -- 全局对象
- 使用emacs作为mysql的客户端
- 转 如何通过ildasm/ilasm修改assembly的IL代码
- 15款非常有用的前端开发CSS网格(grid system)生成器
- 「leetcode」257. 二叉树的所有路径(详解)
- STL之priority_queue 感觉讲的不错!!!呵呵