阿里自研实时计算平台支撑双十一
本文讲的是阿里自研实时计算平台支撑双十一阿里巴巴11月7日宣布,其大数据团队自研的实时数据计算平台Galaxy ,目前每秒可运算数据超过500万条,预计双十一当天每秒运算量将超过1000万条,日处理消息数将超过1万亿条。针对每一笔交易数据,系统将实时反复检测70余次以保证数据质量。
一分钟成交破亿,一千多万人涌入天猫。这是2013双十一购物狂欢节第一分钟的战况。这些数据在杭州淘宝城内的数据大屏实时播报。大屏上跳动的每个数字,来自于阿里内部60多个系统间的紧密合作:当你在以最快速度秒杀到双十一热卖商品的同时,这些系统已经完成了无数轮的数据采集、传输、加工、计算以及反馈到页面的工作。这正是阿里未曾公开的技术--如何在保障数据质量的前提下实现实时计算?
Galaxy是阿里巴巴自研的通用增量计算平台,能提供从分钟级别到秒级别、甚至毫秒级别延迟的实时数据计算能力。Galaxy解决了计算通用性、开发成本、数据质量等诸多难题,并提供可扩展、规模化的集群服务能力。
目前,Galaxy每秒可计算数据已达500万条,每日处理的记录数超过2500亿,日处理数据量近2PB。想象一下:当你还在努力算出1024×1024等于多少时,这一秒钟内Galaxy已经拿到数据、计算结束、交出结果这一整套流程500万遍了。今年双十一,用户浏览、成交、手机APP等产生的数据量都将大规模增长。当天Galaxy的运算量预计每秒将超过1000万,日处理消息数将超过1万亿条。
阿里巴巴数据质量团队介绍:“Galaxy不光要算得快,还得保证不能算错。”除了Galaxy之外,阿里研发了一套可以实时检测线上数据的系统,能够在1秒钟以内完成从数据产生到校验的过程,每笔交易可以实时建议70多次,以保障双十一的数据不会算错。
比如,一个美国用户在双十一活动下单,刚付完款,可能由于国际间网络突然闪断,导致"已付款"状态数据没有传输回来。这时,呈现给买家的可能就是"交易失败"的状态。但通过数据实时检测系统,能在这个问题被消费者发现之前就开始报警进行处理。也许,还没消费者回过神来,这个问题就已经被纠正,丝毫感受不到"交易失败"曾经出现过。
此外,Galaxy还设计了数据"防漏"措施,哪怕服务器突然宕机,也能保障数据不丢失,快速恢复后继续工作。想象一下:如果在你跟朋友约好晚上看电影的时候,你突然发了一场高烧昏厥过去,正常情况下,要去医院才能治好,并且得休息好几天。Galaxy不仅能自我修复,而且还能将时光倒回到那个晚上,你和朋友继续去看电影。
目前,Galaxy已逐步支撑阿里集团绝大部分的实时业务和应用,包括淘宝、天猫、阿里云、菜鸟、聚划算、无线、搜索、广告、数据魔方等业务提供实时计算服务。
原文发布时间为:2014-11-06
本文作者:景保玉
本文来自云栖社区合作伙伴IT168,了解相关信息可以关注IT168
原文标题:阿里自研实时计算平台支撑双十一
阿里自研实时计算平台支撑双十一相关推荐
- 阿里实时计算平台的演进和运维
本文整理自阿里云实时计算高级运维专家王华 (尚付) 在 Flink Forward Asia 2021 生产实践专场的演讲.主要内容包括:演进历史和运维挑战.集群运维 Flink Cluster.应用 ...
- 阿里开源实时计算平台Blink,能让计算延迟降至毫秒级 | 附技术详解
雷刚 发自 凹非寺 量子位 报道 | 公众号 QbitAI 阿里巴巴这份开源礼物,业内期待已久. 近期,中国科技互联网巨头正式宣布将实时计算平台Blink开源,该技术由开源的Flink改造而来,被广 ...
- 【云周刊】第205期:阿里云重磅开源实时计算平台Blink,挑战计算领域的“珠峰”...
本期头条 阿里云重磅开源实时计算平台Blink,挑战计算领域的"珠峰" 信息爆炸的时代,智能推荐已经被应用到各类互联网产品中,但为千万级甚至亿级规模的用户实时做精准的推荐难度极高. ...
- bilibili Saber 实时计算平台架构与实践【Apache Flink 替换 Spark Stream的架构与实践】
摘要:本文由 bilibili 大数据实时平台负责人郑志升分享,基于对 bilibili 实时计算的痛点分析,详细介绍了 bilibili Saber 实时计算平台架构与实践.本次分享主要围绕以下四个 ...
- bilibili 实时计算平台架构与实践
摘要:本文由 bilibili 大数据实时平台负责人郑志升分享,基于对 bilibili 实时计算的痛点分析,详细介绍了 bilibili Saber 实时计算平台架构与实践.本次分享主要围绕以下四个 ...
- 【硬刚大数据】Flink在实时在实时计算平台和实时数仓中的企业级应用小结
欢迎关注博客主页:https://blog.csdn.net/u013411339 欢迎点赞.收藏.留言 ,欢迎留言交流! 本文由[王知无]原创,首发于 CSDN博客! 本文首发CSDN论坛,未经过官 ...
- Flink在实时在实时计算平台和实时数仓中的企业级应用小结
点击上方蓝色字体,选择"设为星标" 回复"资源"获取更多资源 大数据领域自 2010 年开始,以 Hadoop.Hive 为代表的离线计算开始进入各大公司的视野 ...
- SLA 99.99%以上!饿了么实时计算平台3年演进历程
来自:DBAplus社群 作者介绍 倪增光,饿了么BDI-大数据平台研发高级技术经理,曾先后就职于PPTV.唯品会.15年加入饿了么,组建数据架构team,整体负责离线平台.实时平台.平台工具的开发和 ...
- 克拉克拉(KilaKila):大规模实时计算平台架构实战
克拉克拉(KilaKila):大规模实时计算平台架构实战 一.产品背景: 克拉克拉(KilaKila)是国内专注二次元.主打年轻用户的娱乐互动内容社区软件.KilaKila推出互动语音直播.短视频配音 ...
最新文章
- ping 不通 华为三层交换机vlan_华三两台三层华为交换机 vlan互访 配置
- 随风迎 jmeter下TPS插件的安装(转)
- Linux 解压缩tar经历,Linux命令 -- tar解压缩命令
- CSS中一个font缩写的实例
- Kettle使用_26 根据增删改标识处理数据
- WebApi权限验证流程的设计和实现
- webApp禁止用户保存图像
- 京东批量下单_京东快递发件指南!
- 《分布式系统:概念与设计》一2.3.1 体系结构元素
- 跑revit计算机硬件要求,什么样的电脑能流畅跑Revit?Revit对电脑配置要求
- UIView Animation 动画学习总结
- 【node.js】一个基于HTPP的服务
- 普通的程序员每天都做什么,资深程序员带你了解行业内幕
- 面试摘要【持续更新】
- 射影几何----利用中心和渐进方向求渐近线的方程
- [BZOJ3790]神奇项链
- 新来个技术总监要我做一个 IP 属地功能~
- 软件开发团队常见角色职责
- 数据分析——数据清洗之文字特征编码
- 如何实现企业邮箱登录入口快速登录?
热门文章
- parasolid 原因 效率_Parasolid下载,Parasolid购买,Parasolid试用,Parasolid介绍,Parasolid评价...
- 如何使用Markdown排版微信公众号推文
- 开源项目:完整的电商系统,直接拿来用!
- 项目经理怎么做,才能让领导爱听你的工作汇报?
- 【数学建模】基于matlab zernike泽尼克多项式仿真【含Matlab源码 1953期】
- bzoj5248 [2018多省省队联测]一双木棋
- winscp下载和安装
- 如何在电脑桌面上制作一个便签
- 《小狗钱钱》阅读笔记2020-11-30
- opencv-python调用摄像头失败 global /io/opencv/modules/videoio/src/cap_v4l.cpp (1000) tryIoctl VIDEOIO(V4L2