电商秒杀系统设计分析
1,乐视秒杀,每秒钟10万的订单更新(insert/update),以用户ID分库分表,二叉树分库扩容,表级同步,DB1 - DB8, order1 - order10, DB编号 = (uid/10)%8,表编号=uid%10,这样单库基本上可以保持1万左右的并发,可以业务层分库分表,也可以使用mycat之类的中间件。
订单ID结构:分库分表信息+时间戳+机器号+自增序号,分信息:1bit数据库编号如5,第2bit为表编号如3,但是为了保证最终扩容,分库信息=(uid / 10) %64 +1,扩容到16 32 64个库都不是问题 。但是还需要根据商户ID来查询订单,所以又引入对商户维度的order表集群,将uid维度的order集群冗余一份到商户ID维度的order表集群,这样可以支持多维度查询,保持2个维度集群使用MQ异步同步,MQ也会异常导致数据不一致,引入实时监控服务,实时计算2个维度集群差异,做一致性同步。
1级,订单、支付流水,对实时和准确性要求高,不加入任何缓存,读写直接DB。2级,用户数据相关,读多写少,采用redis缓存。3级,支付配置,量少读多,用内存本地缓存,使用高可用消息推送平台,修改配置则推送更新并反馈。
采用nginx的nginx_max_conns限流修改DB并发为有限并发异步写,创建1个TaskQueue,所有DB写入放入并发度16的TaskQueue,通过queue异步更新DB。抢购库采用redis的nosql,属于业务层不属于数据层,然后在抢购库前再加上redis list队列,如产品A配置了20件,来了N个人,均会查询redis队列的长度,<=0则有权限减抢购库库存,队列长度<20则等待对头位置获取抢购权限,太长则直接返回。
2,同一商品并发读放到缓存中,采用一致性hash,同一个key在同一台机器,也采用应用层内存,应用上缓存相关数据(也有动静态),如不变属性(标题),在描述
前推到秒杀机器并缓存到描述结束,库存动态采用被动缓存方式一定时间(数秒),失效再去tair缓存拉取最新数据,真正写数据时仍然会一致性。
热点商品放在单独热点库,应用层做排队,DB做限流队列,在InnoDB做patch,单行做并发排队,可对多条SQL做合并。
3,request进来可以采用redis的inc/desc,扣完则直接返回
可以采用事务控制流程,也可以先去一个表insert之类拿一个资格,然后处理流程,实际库存扣减失败要更新到缓存中,拦截+数据一致性。也可以将num保存到redis,多个用户对num进行desc,并且返回值大于0时才生成订单,redis为单线程处理数据。
4,引入队列,所有写DB在队列中排队,串行,达到阈值就不再消费队列,关闭购买。解决超卖,但是多种商品则需要多条队列。
写操作到memcache中,利用memcache的cas锁减库存,同一时刻只有1个写入成功,解决建库存问题。
5,京东提交订单,1次订单要写10多张表,当订单数达到上万时,系统就无法承受,就将订单转化为xml,这样只写一张表,后面再去做异步,先将整个xml订单的信息存储下来,然后再通过状态机异步写原来的10多张表数据,针对商品维度、商品ID等所有数据会异构一份到库存、促销、商品,又将数据分为A,B,C包,
A可能为基础数据,B为扩展数据例如。
装1个程序承载异步MYSQL的数据落地,再通过work写到MYSQL服务里面,正常双写MYSQL,redis,购物车服务端存储,GZIP压缩。
6,将提交操作变成两段式,先申请后确认。然后利用Redis的原子自增操作,同时利用Redis的事务特性来发号,保证拿到小于等于库存阀值的号的人都可以成功提交订单。然后数据异步更新到DB中。
优点:解决超卖问题,库存读写都在内存中,故同时解决性能问题。
缺点:由于异步写入DB,可能存在数据不一致。另可能存在少买,也就是如果拿到号的人不真正下订单,可能库存减为0,但是订单数并没有达到库存阀值。
7,一号店做法
排队模块:负责接收用户的抢购请求,将请求以先入先出的方式保存下来。每一个参加秒杀活动的商品保存一个队列,队列的大小可以根据参与秒杀的商品数量(或加点余量)自行定义。排队模块还负责提供一系列接口,如:给已进入队列的用户查询下单状态的接口,给调度模块拉取请求的接口,服务模块回写业务处理状态的接口等。
调度模块:负责排队模块到服务模块的动态调度,不断检查服务模块,一旦处理能力有空闲,就从排队队列头上把用户访问请求调入服务模块。并负责向服务模块分发请求。这里调度模块扮演一个中介的角色,但不只是传递请求而已。它还担负着调节系统处理能力的重任。我们可以根据服务模块的实际处理能力,动态调节向排队系统拉取请求的速度。作用有点类似水坝的闸门,当下游干旱时就打开闸门多放些水,当下游洪涝时,就放下闸门少放些水。
服务模块:是负责调用真正业务处理服务,并返回处理结果,并调用排队模块的接口回写业务处理结果。我们设计这个模块,是为了和后面真正的业务处理服务解耦。目前我们的系统不只支持秒杀抢购这种业务场景,后续有其他适用于排队系统的业务都可以接入,如:领取抵用券等等。同时我们也可以针对后面业务系统的处理能力,动态调节服务模块调用后面业务处理服务的速度。
8,站点层是可以通过加机器扩容的,最不济1k台机器来呗。如果机器不够,抛弃请求,抛弃50%(50%直接返回稍后再试),原则是要保护系统,不能让所有用户都失败。同一个uid,限制访问频度,做页面缓存,x秒内到达站点层的请求,均返回同一页面。
小米只有1万部手机,我清楚的知道一列火车只有2000张车票,我透10w个请求去数据库有什么意义呢?没错, 请求队列!,对于写请求,做请求队列,每次只透有限的写请求去数据层(下订单,支付这样的写业务),1w部手机,只透1w个下单请求去db,3k张火车票,只透3k个下单请求去db,如果均成功再放下一批,如果库存不够则队列里的写请求全部返回“已售完”。
例如A 用户搜索了“手机”,B 用户搜索“手机”,优先使用A 搜索后生成的缓存页面?这个方法也经常用在“动态”运营活动页,例如短时间推送4kw用户app-push运营活动,做页面缓存。
处理失败返回下单失败,让用户再试。队列成本很低,爆了很难吧。最坏的情况下,缓存了若干请求之后,后续请求都直接返回“无票”(队列里已经有100w请求了,都等着,再接受请求也没有意义了)
9,A:查询模块(查询库存)并发查询,库存数存在缓存中,(商品信息和图片信息等等)静态化处理和库存剩余数量缓存化处理。
首先判断这个队列是否已满, 如果没满就将请求放入队列中排队,队列满以后的所有请求直接返回秒杀失败。中间件在处理web服务器请求的同时,转发队列中的请求给中心商品服务器(/支付中心)(这里可以使用生产者-消费者模型)。
中心商品服务器(/支付中心)将前面N个成功秒杀的结果返回后, 返回秒杀结束。
中间件收到商品服务器返回的秒杀结束,给队列中的所有请求返回失败, 以后进来的请求也全部返回失败, 这样就大大降低了中心商品服务器的请求数, 甚至可以在候选人中间件和中心商品服务器之间再加一层候选人中间件
11,为了保护秒杀系统后端的关键服务,需要进行并发限制的处理。比如调风控的服务,当每个tomcat实例并发连接数超过10个就放弃请求风控服务等类似的并发保护措施。秒杀系统为了便于用户下单,流程设计会尽量精简,因此不利于阻挡利用软件参与抢购的机器人,下面的几种实践方法,可以有效限制机器人刷单:为了防止这种构造数据避过流程的软件,把秒杀活动分为几个环节:活动入口,验证码页,验证码交互,订单详情页,提交订单。几个环节环环相扣,以保障任何人都必须从入口一步步完成抢购活动,这种限定软件的行为轨迹,基本拉到和普通用户同样的水平,以增加普通用户成功抢购的几率。为了保证所有用户必须一步步访问,利用一个nginx的模块,来校验用户当前访问的步骤是否合法,并且把当前用户相关状态以加密串的形式种植在cookie中。Lua配合nginx模块的时候,可以进行复杂一些的业务逻辑方面的校验工作。
数据库层,使用存储过程代替JDBC调用,数据库层,库存单行更新,增加多个槽位.
电商秒杀系统设计分析相关推荐
- 毕业设计-电商秒杀系统
目录 1.业务背景 2.基本场景 3.重点场景分析 3.1.浏览秒杀商品 3.2.下单 4.存储架构设计 5.计算架构设计 5.1.负载均衡 5.2.多级缓存 6.高可用设计 7.可扩展设计 8.高可 ...
- 电商库存锁_解密 Redis 助力双 11 背后电商秒杀系统
作者:AlibabaCloud 来源:https://github.com/AlibabaCloudDocs/kvstore/blob/master/cn.zh-CN/最佳实践/使用%20Redis% ...
- Java电商秒杀系统性能优化(一)——电商秒杀系统框架回顾
电商秒杀系统框架回顾 项目简介 外部依赖 框架回顾 项目要点 项目中存在的问题 小结 课程是免费的,课程地址如下:SpringBoot搭建电商秒杀项目,课程真的很棒,作者的思路很清晰,建议各位读者可以 ...
- 电商秒杀系统相关实现
前言 本文主要就电商秒杀系统所涉及的相关技术进行探究,相关Demo地址如下: 个人实现版本:https://github.com/MrSorrow/seckill Github Star较高的版本,第 ...
- Java实现电商秒杀系统-jseckill
1.前言 什么是秒杀?双十一,双十二天猫京东优惠大促销,大量的用户去抢夺少量的商品,在段时间内抢完,称之为秒杀.典型的高并发应用场景. 2.简介 电商秒杀系统,要求并发量特别大,用Java实现秒杀系统 ...
- 万字好文,电商秒杀系统架构分析与实战
点击上方"朱小厮的博客",选择"设为星标" 后台回复"书",获取 后台回复"k8s",可领取k8s资料 1 秒杀业务分析 ...
- 万字好文,电商秒杀系统架构分析与实战!
1 秒杀业务分析 正常电子商务流程 (1)查询商品: (2)创建订单: (3)扣减库存: (4)更新订单: (5)付款: (6)卖家发货: 秒杀业务的特性 (1)低廉价格: (2)大幅推广 ...
- 使用Redis搭建电商秒杀系统
作者:小热爱 来源:https://juejin.cn/post/6955372476649963556 秒杀活动是绝大部分电商选择的低价促销.推广品牌的方式.不仅可以给平台带来用户量,还可以提高平台 ...
- 解密 Redis 助力双 11 背后电商秒杀系统
背景 秒杀的特征 秒杀系统 背景 秒杀活动是绝大部分电商选择的低价促销.推广品牌的方式.不仅可以给平台带来用户量,还可以提高平台知名度. 一个好的秒杀系统,可以提高平台系统的稳定性和公平性,获得更好的 ...
最新文章
- BusinessObject J2EE单点登陆简单使用
- vs2010启动调试、停止调试非常慢
- 2.LRU算法实现 [C++]
- 【Java基础总结】多线程
- Vue + Element UI 实现 登陆注册基本demo实例
- ctdb main loop
- 调试比较大小的 才=c语言,计算机等级二级C语言考试练习题(六)
- mysql完全卸载大全
- netsetman使用教程_网络管理软件NetSetMan安装教程
- Unity中的资源管理-资源类型和基本使用
- API 接口加密及请求参数加密
- android 自定义数字键盘
- 什么是 DNS MX 记录?
- Cocos2d-x地图随精灵无限滚动与边缘检测----之游戏开发《赵云要格斗》(3)
- android 全景拼接软件,DetuStitch(全景拼接软件)
- 3、nginx设置简单的代理服务器-阅读官方文档
- redis事件通知(notify-keyspace-events Ex)
- 如何区分360浏览器和谷歌浏览器
- 日历怎么设置每周一提醒
- 网易云信的音频共享技术 | 体验共享专题
热门文章
- canvas 的save()和restore()方法
- 赛门铁克召开2010财年中国合作伙伴高峰会
- David P.Williams论文系列 Muesli_基于声呐图像寻雷难度的图像复杂度度量
- 科学计算与数学建模-常微分方程数值解法 思维导图
- 使用稀疏 4D 卷积对 3D LiDAR 数据中的运动对象进行后退分割(IROS 2022)
- 蓝湖类似的软件_一款产品设计团队必备的协作工具——蓝湖
- 新年开单必备:12个国家买家谈判风格差异get,外贸人记得转发收藏...
- 《Python编程从入门到实践》外星人入侵游戏——添加 飞船 图片和外星人 图片,素材
- Android通讯录模糊匹配搜索实现(号码、首字母,移动应用开发课程设计心得
- 小八——WebGL心路历程(1),从一个原生的webGL程序粗放认识webGL