别再嘴炮概念了!大数据是硬汉之战,你的肌肉呢?
华盛顿大学奥林商学院做过一个调查,10年内,世界五百强企业榜单中,40%将会消失。
以前的企业讲究聚沙成塔——
埋头苦干、一砖一瓦,从崭露头角到行业先锋,终换得大厦平地起。
现在聪明的筑塔人都转去逐浪。踩在互联网这一浪上,看着下一浪的浮现,他们在等新IT(Intelligence Technology)底层技术成熟。
作为机敏的鲨鱼,leader们左右嗅嗅,会闻到海水中的血腥味儿。随着他们弄懂如何改造效率低下的公司,从而更好、更快、更廉价地为消费者提供一切的时候,旧的系统、故步自封的垄断者将会崩溃。
熟悉科技前沿领域的业内人士有一个共识,目前,如果把AI、机器人管家、脑机接口、智能穿戴等领域视为一个个天资聪颖、潜能无限的婴儿,那哺育他们的“奶粉”必须是高质量、且经过处理的数据——尤其是实时数据。
由实时数据处理引发的应用,往往会颠覆绝大多数人对效率的认知。比如,物联网IoT领域中,实时的设备数据分析可以在1秒内检测出系统故障,同时做出维护性的预测;在金融领域,交易系统的数据不止需要实时呈现给客户,更重要的是以最快速度,递交自动交易系统进行处理;IT领域,软件系统的日志收集和处理对服务异常报警和故障的检测至关重要;而在交通领域,实时的交通数据经由处理,已经用来做交通指挥的优化。
最具有代表性的是电商,那些因新零售拔地而起的平台,握有海量用户交易数据和后台商品更新数据,此类数据对实时性的要求极高:交易处理,后台呈现,支付后的快速响应,以及出现纠纷时的解决……都仰仗着服务器支撑。特别是现在打折,促销,秒杀,砍价等营销模式层出不穷,如果系统出现问题,那么电商平台失去的流量与承受的损失将十分巨大。因此接入信息,监管商品交易数据并且做到实时处理,这对于此类企业来说尤为重要。
此外,大数据时代,企业销售端的进军方向会逐步靠拢到智能推荐系统。传统的推荐系统采用定期对数据进行分析的做法来更新模型。因其定期更新的特性,推荐模型无法保持实时,对用户当前的行为推荐结果不够精准。在此类场景中,实时数据分析便等同于一眼看透消费者的导购。
新IT浪潮中,实时的数据收集与基于数据的分析处理已经是大势所趋。但在数据种类越来越多,产生速度越来越快,数据量越来越大的当下,许多企业正面临技术与设备的限制,实时数据处理的技术壁垒已浮出水面。总结来说,主要的困难在于:
1、数据量非常大;系统要求非常高,处理数据时,容不得丝毫故障甚至宕机,实时处理的系统要求也远远高于离线系统。
2、实时处理系统规模跟不上业务增长的需求;很多实时数据(比如金融的K线分析)需要专门的时序数据库技术,而这些技术并不普及。
3、自行搭建开源组件,比如Kafka, Storm和Hbase,不是一件容易的事情,Hadoop开源组件的部署和运维都需要耗费大量的金钱和人力。
究其根本,实时数据处理的三个最根本的需求是:数据的接入,数据的实时分析处理,和数据的存储。针对日益增长的,在云上对数据进行实时处理的需求,华为云EI服务产品部开发了实时数据处理“三剑客”:
数据接入服务(DIS),实时流计算服务(Cloud Stream Service,简称CS)和表格存储服务(CloudTable)。
• 数据接入服务(DIS)是华为云提供的完全托管的实时数据接入服务。DIS提供了灵活数据采集、高效数据传输、实时数据分发能力,让使用者轻松构建基于实时数据的分析和应用。
• 实时流计算服务(CS)是实时流式大数据分析服务,完全托管计算资源和Serverless体验,即时执行作业,提供低延时高吞吐的智能流计算平台。
• 表格存储服务(CloudTable)是基于Apache
HBase提供的分布式、可伸缩、全托管的NoSQL数据存储服务,提供了毫秒级的随机读写能力,适用于海量结构化数据、半结构化数据存储和查询应用。同时基于OpenTSDB和GeoMesa提供时序数据库能力和时空大数据查询、分析能力。
何达炳曾在微博上回应过Anil
Menon:“谁来判断华为创新能力?应该是市场和客户。”目前华为云上已有诸多标杆客户使用“三剑客”服务对实时数据进行处理。某燃气集团,通过使用DIS,
CS和CloudTable构建了新的覆盖全国的巡线系统,将巡线实时监控系统端到端查询性能从十几秒降低到秒级以内。某金融初创企业,实时交易行情系统充分利用CloudTable内置的OpenTSDB能力,实时快速刷新15种时间窗的K线行情。某网络零售实时舆情系统,使用DIS接入数据的性价比远远超越线下自建系统,使用CS进行SQL编程轻松完成数据清洗。
互联网从蛮荒生长到深耕细作不过几年,伴随着市场的成熟,如何提供更好的服务、更快的数据决策,成为竞争的关键点。实时数据处理作为其中的一项关键技术,自然在业界中广泛流行。“借技术起势能”,最大限度地挖掘“热数据”的价值,成为各大企业的共识。
我们生活在一个不断瓦解的时代,不过这是一件好事。
行业会被颠覆,大公司会垮掉。
多少企业、投资人和创业者,未意识到新IT时代的到来,只顾在互联网+O2O的960万平方公里的大床上HIGH得如痴如醉时,千帆已过。
抓住实时数据处理这一浪。
转载于:https://juejin.im/post/5b5fcf51f265da0f82024388
别再嘴炮概念了!大数据是硬汉之战,你的肌肉呢?相关推荐
- 大数据概论、大数据概念、大数据特点(4V)、Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、大数据应用场景、大数据发展前景、大数据部门间业务流程分析
文章目录 1.大数据概念 2.大数据特点(4V) 2.1Volume(大量) 2.2Velocity(高速) 2.3Variety(多样) 2.4Value(低价值密度) 3.大数据应用场景 4.大数 ...
- 怎样理解大数据概念?大数据有什么用处?
什么是大数据? 高速发展的信息时代,新一轮科技革 命和变革正在加速推进 ,技术创新日益成为重塑经济发展模式和促进经济增长的重要驱动力量,而"大数据"无疑是核心推动力. 那么,大数据 ...
- 大数据后从此再无隐私_大数据时代没有个人隐私?
作为一名大数据领域的从业者,我来回答一下这个问题. 在大数据技术的推动下,随着数据价值的不断提高,关于个人隐私的安全问题受到了更多的关注,关于如何在大数据时代保护个人隐私(数据安全)也是目前不少研究 ...
- Hive大数据-认识Hive知识结构_以及概念介绍---大数据之Hive工作笔记0001
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 上面是关于Hive需要学习的东西 然后我们来了解一下hive,hive可以理解成一个,可以把sql ...
- 大数据多租户的概念_大数据平台 多租户
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],&q ...
- 别再纠结到底学人工智能还是大数据?专家为你解读:人工智能和大数据两者的区别和联系
第一.人工智能和大数据的联系 大数据和人工智能是当今最流行和最有用的两项技术.人工智能诞生于十多年前,大数据诞生于几年前.计算机可以用来存储数百万条记录和数据,但分析这些数据的能力是由大数据提供的. ...
- 大数据与云计算学习计划 (一) 云计算系统管理 1 TCP/IP简单概念 (概念性)
大数据与云计算学习计划 (一) 云计算系统管理 1 TCP/IP简单概念 (概念性) 一.前言 二.服务器架构 典型服务模式 三.TCP/IP协议 1.简介 2.主机对主机通信三要素 IP地址 子网掩 ...
- 大数据学习之路一(大数据概念、特点、应用场景)
大数据 大数据概念 对于"大数据"(Big data)研究机构Gartner给出了定义,"大数据"是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力 ...
- 独家 | 人工智能和大数据是如何联系在一起的?
作者:Vikas Arora 翻译:万文菁 校对:丁楠雅 本文约1800字,建议阅读7分钟. 本文将讲解如何通过人工智能和大数据解决与数据相关的所有可能问题. 大数据和人工智能是当今最流行和最有用的两 ...
最新文章
- 一个 Blink 小白的成长之路
- UML类图与类的关系
- 图像处理与识别的算法中若有非线性变换,那么请一定注意归一化的处理会影响结果
- share with用法
- 前端学习(2882):实现视图初始化
- python中int和eval的区别_python中eval与int的区别浅析
- chmod递归授权文件夹(用法)
- 阿里回应被列为被执行人;Linus Torvalds:我已经不是程序员;Ant Design 4.4.1 发布 | 极客头条
- Latent Semantic Analysis (LSA) Tutorial第一部分(转载)
- keras库的安装及使用,以全连接层和手写数字识别MNIST为例
- 纯CSS3技术 加载中
- Window10问题一揽子解决方案(自动唤醒,自动更新,卸载自带office16,华硕卸载myasus以及myasus频繁提示更新,停用WindowDefender)
- android开发之局域网内屏幕共享+提取文字01:截屏
- 进度管理案例分析——常见问题及答案
- 主流的语音芯片ic方案该如何选 这篇文章可以说清楚
- 数据库:实验五MySQL数据库对象-(视图、索引)
- 微软官方建议的28条代码优化方案
- 限时活动|凭徽章领披萨大奖,玩转Moonbeam治理论坛
- 我的世界服务器启动txt文件,我的世界服务器开启设置全攻略 我的世界开服图文详细教程...
- 结合 Whisper + Stable-diffusion 的语音生成图像任务