非常复杂，上双11数据大屏背后的秘密：大规模流式增量计算及应用

回顾大数据技术领域大事件，最早可追溯到06年Hadoop的正式启动，而环顾四下，围绕着数据库及数据处理引擎，业内充斥着各种各样的大数据技术。这是个技术人的好时代，仅数据库领域热门DB就有300+，围绕着Hadoop生态圈的大数据处理技术更是繁花似锦。在云栖社区2017在线技术峰会大数据技术峰会上，阿里云大数据计算平台架构师钱正平做了题为《大规模流式增量计算及应用》的分享，钱正平结合阿里巴巴真实的业务场景为大家分享了流式增量计算编程方面的挑战和当前的解决方案。

首先从理解什么是数据流开始今天的分享，其实在真实的世界中，大部分的数据都是连续产生的数据流，比如手机上产生的GPS信号、用户在互联网上的行为、在线搜索、用户的点击、社交网络分享、即时通信以及一些传感器和物联网设备采集的日志信息等，这些数据都是连续产生的，自然就形成了数据流，在这些数据流产生以后，在很多场景下对于数据流的实时分析就会产生很大的价值。

接下来从大家比较熟悉的数据场景切入，比如大家经常会关注的股市情况，股价的波动其实就是实时数据的分析和聚合，除此之外大家在日常生活中还可能比较关心天气预报，可能会根据实时的信息来看比如当前的台风的情况，这些都是大家习以为常的，也已经深入大家生活的实时数据分析。

而随着实时数据源的越来越多，实时数据的规模也越来越大，可以应用的场景也越来越多，实时数据的应用也正在往更多的领域深入。比如像每年的天猫双11全球狂欢节，阿里巴巴就有一个实时大屏，左图上是2015年的情况，当时在第35分钟的时候就已经有了200亿的销售额，同样的2016年也是一样，所有的交易数据都会在秒级之内反映在数据大屏之上，再比如在2015年还有模拟的一个地球，可以看到从卖家到买家的订单都会被实时地刻画出来，这在商业领域将会给大家一个非常直观的印象，也可以用于辅助商业决策。

特别是在安全以及监控这些领域，数据有时候除了用于看以外还可以预先设定很多规则，基于流计算的“规则引擎”提供了传统的安全监控系统无法提供的海量数据处理能力，根据这些规则就可以省去很多的人力劳动，可以自动化地进行报警，利用大规模分布式集群实时计算和分析监控数据，避免人肉数据检查的低效，有效扩大监控范围，提升监控时效。这方面目前有很多的应用，比如像监控电网的运作等。

除了判断简单规则以外，还可以通过实时分析数据去发现一些规律，去实现更多的机器智能。这里举的是阿里巴巴帮助协鑫光伏的一个案例，协鑫光伏是一个专门加工太阳能电池的企业，它的设备都面的每个设备都有几百个传感器，加起来就有成千上万路信号输入，如果通过人去理解传感器的行为，去检测或者预测哪一个设备将会发生故障再去更换，这中间的延迟就会造成很大的浪费，也就会导致次品率上升的问题。而通过实时的数据分析加上人工智能的算法最终实现了机器自动预警和判断，这样不仅提高了工作效率，甚至还能够预先自动提示操作人员对于设备的某些部件进行更换，最终实现对于良品率的提高，进而提高企业的收益。

全文点击：http://click.aliyun.com/m/13434/

转载于:https://www.cnblogs.com/iyulang/p/6547798.html

非常复杂，上双11数据大屏背后的秘密：大规模流式增量计算及应用相关推荐

第六章大数据，6.1 双11数据大屏背后的实时计算处理(作者：藏六黄晓锋同杰)...
6.1 双11数据大屏背后的实时计算处理 1. 双11数据大屏的实时计算架构 1.1 背景 2016年的双11我们的实时数据直播大屏有三大战场,它们分别是面向媒体的数据大屏.面向商家端的数据大屏.面向 ...
阿里巴巴双11数据大屏背后的实时计算处理
作者:藏六.黄晓锋.同杰 1.双11数据大屏的实时计算架构 1.1 背景 2016年的双11我们的实时数据直播大屏有三大战场,它们分别是面向媒体的数据大屏.面向商家端的数据大屏.面向阿里巴巴内部业务运 ...
【双11背后的技术】双11数据大屏背后的实时计算处理
选自<不一样的技术创新--阿里巴巴2016双11背后的技术>,全书目录:https://yq.aliyun.com/articles/68637 本文作者:藏六黄晓锋同杰 1. 双 ...
2018双11数据大屏设计：数据经济时代的全球清明上河图
双11十周年快乐. 2011年的数据投屏,让媒体.消费者与阿里巴巴第一次在数据层面实现了信息对称,从那以后,数据大屏就成为双11媒体发布不可或缺的一部分.2018,在双11十周年之际,阿里巴巴大数据团 ...
2020双11数据大屏设计：全球数据博物馆
数据艺术"是本次双11数据大屏设计过程中产生的新名词,这样的表现手法需要由设计师与前端.算法同学合力完成,而并非传统意义上的设计作品. 我们的目标,从来都是星辰大海.2020年,各个国家的大 ...
双11数据大屏直播 / 双11作战大屏
免费开通大数据服务:https://www.aliyun.com/product/odps 双11大屏直播地址:https://h5.m.taobao.com/qn/pc/niuba-intervie ...
双11营业额实时数据_【好消息！】淘宝客也有自己的双11实时大屏啦
今年,为了更好的帮助淘宝客玩转预售及超级红包,淘宝联盟全新升级实时数据,专门为每一位淘宝客打造专属实时直播间,只要一屏,您就能实时掌握各类关键指标数据,助力双11大爆发! 有超级红包实时数据吗?有! ...
创造属于自己的双11指挥大屏！
产品简介相比于传统图表与数据仪表盘,如今的数据可视化致力于用更生动.友好的形式,即时呈现隐藏在瞬息万变且庞杂数据背后的业务洞察.无论在零售.物流.电力.水利.环保.还是交通领域,通过交互式实时数据可 ...
实战|从0到1，用flink实现双11实时数据大屏
一提起实时计算框架,就不得不说起高吞吐.低延迟.高性能.高容错的flink. flink19年爆火,20年双11以流量洪峰40亿条/秒.数据体量7TB/s的成绩打破记录,成功走上神坛. 从此,面试官的 ...

非常复杂，上双11数据大屏背后的秘密：大规模流式增量计算及应用

非常复杂，上双11数据大屏背后的秘密：大规模流式增量计算及应用相关推荐

最新文章

热门文章