Redis牛逼!轻松实现实时订阅推送
前阵子开发了公司领劵中心的项目,这个项目是以redis作为关键技术落地的。
先说一下领劵中心的项目吧,这个项目就类似京东app的领劵中心,当然图是截取京东的,公司的就不截了。。。
其中有一个功能叫做领劵的订阅推送。什么是领劵的订阅推送?就是用户订阅了该劵的推送,在可领取前的一分钟就要把提醒信息推送到用户的app中。
本来这个订阅功能应该是消息中心那边做的,但他们说这个短时间内做不了。所以让我这个负责优惠劵的做了-.-!。
具体方案就是到具体的推送时间点了,coupon系统调用消息中心的推送接口,把信息推送出去。
下面我们分析一下这个功能的业务情景。
公司目前注册用户6000W+,如果有一张无门槛的优惠劵下单立减20元,那么抢这张劵的人就会比较多,我们保守估计10W+。
我们初定为20W万人,那么这20W条推送信息要在一分钟推送完成!并且一个用户是可以订阅多张劵的。
所以我们知道了这个订阅功能的有两个突出的难点:
1、推送的实效性:推送慢了,用户会抱怨没有及时通知他们错过了开抢时机。
2、推送的体量大:爆款的神劵,人人都想抢!
然而推送体量又会影响到推送的实效性。这真是一个让人头疼的问题!
那就让我们把问题一个个解决掉吧!!!
推送的实效性的问题:当用户在领劵中心订阅了某个劵的领取提醒后,在后台就会生成一条用户的订阅提醒记录,里面记录了在哪个时间点给用户发送推送信息。
所以问题就变成了系统如何快速实时选出哪些要推送的记录!
方案1:MQ的延迟投递。MQ虽然支持消息的延迟投递但尺度太大1s 5s 10s 30s 1m,用来做精确时间点投递不行!并且用户执行订阅之后又取消订阅的话,要把发出去的MQ消息delete掉这个操作有点头大,短时间内难以落地!并且用户可以取消之后再订阅,这又涉及到去重的问题。所以MQ的方案否掉。
方案2:传统定时任务。这个相对来说就简单一点,用定时任务是去db里面load用户的订阅提醒记录,从中选出当前可以推送的记录。但有句话说得好任何脱离实际业务的设计都是耍流氓~。下面我们就分析一下传统的定时任务到底适不适合我们的这个业务!
你已选中了添加链接的内容能否支持多机同时跑 | 一般不能,同一时刻只能单机跑 |
存储数据源 | 一般是mysql或者其它传统数据库,并且是单表存储 |
频率 | 支持秒、分、时、天,一般不能太快 |
综上所述我们就知道了一般传统的定时任务存在以下缺点:
1、性能瓶颈。只有一台机在处理,在大体量数据面前力不从心!
2、实效性差。定时任务的频率不能太高,太高会业务数据库造成很大的压力!
3、单点故障。万一跑的那台机挂了,那整个业务不可用了-。- 这是一个很可怕的事情!
所以传统定时任务也不太适合这个业务。。。
那我们是不是就束手无策了呢?其实不是的! 我们只要对传统的定时任务做一个简单的改造!就可以把它变成可以同时多机跑,并且实效性可以精确到秒级,并且拒绝单点故障的定时任务集群!这其中就要借助我们的强大的redis了。
推荐:史上最全 Redis 高可用解决方案总结
更多可以关注微信公众号:互联网架构师,在后台回复:8,可以获取互联网架构师全套教程,都是干货。
方案3:定时任务集群
首先我们要定义定时任务集群要解决的三个问题:
1、实效性要高
2、吞吐量要大
3、服务要稳定,不能有单点故障
下面是整个定时任务集群的架构图。
架构很简单:我们把用户的订阅推送记录存储到redis集群的sortedSet队列里面,并且以提醒用户提醒时间戳作为score值,然后在我们每个业务server里面起一个定时器频率是秒级,我的设定就是1s,然后经过负载均衡之后从某个队列里面获取要推送的用户记录进行推送。下面我们分析一下这个架构
1、性能:除去带宽等其它因素,基本与机器数成线性相关。机器数量越多吞吐量越大,机器数量少时相对的吞吐量就减少。
2、实效性:提高到了秒级,效果还可以接受。
3、单点故障?不存在的!除非redis集群或者所有server全挂了。。。。
这里解析一下为什么用redis?
1、redis 可以作为一个高性能的存储db,性能要比MySQL好很多,并且支持持久化,稳定性好。
2、redis SortedSet队列天然支持以时间作为条件排序,完美满足我们选出要推送的记录。
ok~既然方案已经有了那如何在一天时间内把这个方案落地呢?是的我设计出这个方案到基本编码完成,时间就是一天。。。
首先我们以user_id作为key,然后mod队列数hash到redis SortedSet队列里面。为什么要这样呢,因为如果用户同时订阅了两张劵并且推送时间很近,这样的两条推送就可以合并成一条~,并且这样hash也相对均匀。下面是部分代码的截图:
然后要决定队列的数量,一般正常来说我们有多少台处理的服务器就定义多少条队列。因为队列太少,会造成队列竞争,太多可能会导致记录得不到及时处理。
然而最佳实践是队列数量应该是可动态配置化的,因为线上的集群机器数是会经常变的。大促的时候我们会加机器是不是,并且业务量增长了,机器数也是会增加是不是~。所以我是借用了淘宝的diamond进行队列数的动态配置。
这样就可以随时根据实际的生产情况调整整个集群的吞吐量, 所以我们的定时任务集群还是具有一个特性就是支持动态调整。
最后一个关键组件就是负载均衡了。这个是非常重要的!因为这个做得不好就会可能导致多台机竞争同时处理一个队列,影响整个集群的效率!
在时间很紧的情况下我就用了一个简单实用的利用redis一个自增key 然后 mod 队列数量算法。这样就很大程度上就保证不会有两台机器同时去竞争一条队列~.
最后我们算一下整个集群的吞吐量
10(机器数) * 2000(一次拉取数) = 20000。然后以MQ的形式把消息推送到消息中心,发MQ是异步的,算上其它处理0.5s。
其实发送20W的推送也就是10几s的事情。
ok~ 到这里我们整个定时任务集群就差不多基本落地好了。如果你问我后面还有什么可以完善的话那就是:
1、加监控, 集群怎么可以木有监控呢,万一出问题有任务堆积怎么办~
2、加上可视化界面。
3、最好有智能调度,增加任务优先级。优先级高的任务先运行嘛。
4、资源调度,万一机器数量不够,力不从心,优先保证重要任务执行。
目前项目已上前线,运行平稳~
作者:我是林林
www.cnblogs.com/linlinismine/p/9214299.html
猜你喜欢
1、GitHub 标星 3.2w!史上最全技术人员面试手册!FackBoo发起和总结
2、如何才能成为优秀的架构师?
3、从零开始搭建创业公司后台技术栈
4、程序员一般可以从什么平台接私活?
5、37岁程序员被裁,120天没找到工作,无奈去小公司,结果懵了...
6、滴滴业务中台构建实践,首次曝光
7、不认命,从10年流水线工人,到谷歌上班的程序媛,一位湖南妹子的励志故事
8、15张图看懂瞎忙和高效的区别!
Redis牛逼!轻松实现实时订阅推送相关推荐
- Redis很牛逼很秀!轻松实现实时订阅推送
点击上方 "程序员小乐"关注, 星标或置顶一起成长 每天凌晨00点00分, 第一时间与你相约 每日英文 Smiling doesn't always mean you're hap ...
- 我是如何用 Redis 做实时订阅推送的?
前阵子开发了公司领劵中心的项目,这个项目是以redis作为关键技术落地的. 先说一下领劵中心的项目吧,这个项目就类似京东app的领劵中心,当然图是截取京东的,公司的就不截了... 其中有一个功能叫做领 ...
- 学会这几招,你也可以用 Redis 做实时订阅推送!
作者:浮云骑士LIN 来源:www.cnblogs.com/linlinismine/p/9214299.html 前阵子开发了公司领劵中心的项目,这个项目是以redis作为关键技术落地的. 先说一下 ...
- 如何用 Redis 做实时订阅推送的?
作者:浮云骑士LIN 链接:https://www.cnblogs.com/linlinismine/p/9214299.html 前阵子开发了公司领劵中心的项目,这个项目是以redis作为关键技术落 ...
- 领券中心项目,我是如何用 Redis 做实时订阅推送的?
作者:浮云骑士LIN 出处:cnblogs.com/linlinismine/p/9214299.html 前阵子开发了公司领劵中心的项目,这个项目是以redis作为关键技术落地的. 先说一下领劵中心 ...
- 快递100企业版接口(API)实时查询、订阅推送、云打印、电子面单实现.Net版
闭关搬了一个星期的砖,终于顺利发布项目.项目中用到.net木有办法,只好捡起来慢慢搬.为了后来的同学免于在黑暗中摸索,本帅就把这几天踩的坑填满了发一下. 做系统对接最怕的就是木有demo,一点点码,调 ...
- 基于 RabbitMQ 的实时消息推送
博主新开公众号"不太灵光的程序员" , 关注公众号,每日八点有干货推送 1 实现服务器端推送的几种方式 Web 应用都是基于 HTTP 协议的请求/响应模式,无法像 TCP 协议那 ...
- Worktile中的实时消息推送服务实现
在团队协同工具worktile的使用过程中,你会发现无论是右上角的消息通知,还是在任务面板中拖动任务,还有用户的在线状态,都是实时刷新.Worktile中的推送服务是采用的是基于xmpp协议.erla ...
- Worktile 中百万级实时消息推送服务的实现
Worktile 中百万级实时消息推送服务的实现 转自:http://www.360doc.com/content/15/0907/19/1073512_497529854.shtml 这是一个创建于 ...
- 未读消息(小红点),前端 与 RabbitMQ 实时消息推送实践,贼简单~
前几天粉丝群里有个小伙伴问过:web 页面的未读消息(小红点)怎么实现比较简单,刚好本周手头有类似的开发任务,索性就整理出来供小伙伴们参考,没准哪天就能用得上呢. 之前在 <springboot ...
最新文章
- 通用权限管理系统组件 (GPM - General Permissions Manager) 权限管理以前我们都是自己开发,可是到下一个系统又不适用,又改,加上人员流动大,管理很混乱...
- 机器学习重新构想计算的构建块
- 嵌入式小知识(累积更新)
- 经典SQL语句大全、50个常用的sql语句
- php 下载.csv,php 文件流的形式下载csv
- html5 拖拽上传文件时,屏蔽浏览器默认打开文件
- 小米wifi每天晚上准时断网_小米 11再次确定,将于28日准时发布,售价更感人
- oracle standby同步,PRIMARY Standby不能同步问题
- matlab 万年历,转 计算万年历的Matlab程序
- ubuntu软件中心打不开Python error
- 关于mssql的学习体会,仅供参考!
- 隐藏微信右上角的分享按钮
- PS-把长方形图片改为正方形图片
- 招行一网通 java桥_招行一网通支付接入
- MOS管在缓启电路中的应用差异
- 微信世界争霸服务器,微信世界争霸小程序进不去游戏怎么办
- HTML5 基础练习题总结(一)
- 滚动视差让你不相信“眼见为实”
- 关于Arduino、树莓派和 Pixhawk微处理器对比分析
- H5/APP客服端源码/uniapp在线客服系统源码开源了,全源码代码解读及发行安装教程...
热门文章
- 大快DKH大数据网络爬虫安装教程(详细图文步骤)
- PVD桌面怎样重新调整personal vDisks大小
- php中echo(),print(),print_r()的区别
- 如何打开 Mac 的摄像头?
- iOS开发之权限判断(这里只说相册的权限判断status一直是PHAuthorizationStatusNotDetermined问题)
- iCalamus for Mac(版面设计工具)
- 3D建模设计软件Rhino 7 for Mac
- mac下载站,这个可以收藏看看
- JavaScript性能优化之加载与执行
- linux shell数据重定向(输入重定向与输出重定向)详细分析 下(转)