作者:汪源,网易副总裁,网易杭州研究院执行院长,网易数帆总经理

首发:冷技术热思考

近两个月前的数字+大会上,我们向业界发布网易易数全链路数据生产力平台。有必要再阐释一下什么叫全链路数据生产力平台,它跟其他的很多数据领域的技术如数据中台、BI等是什么关系。

一、全链路数据生产力

1979年,老邓画了一个圈,造就的一个信奉生产力的时代。虽然不排除某些企业逼格高,无视生产力,绝大部分企业都是想要生产力的。

企业的生产力,有一部分来自于数据生产力;数字时代企业的生产力,大部分来自于数据生产力。

数据生产力怎么定义?数据生产力,就是指企业因为发挥了数据的价值,所提升了的那部分生产力。这个定义的方式和数字经济的定义方式一样。数字经济就是指全社会因为数字化所创造的那部分GDP,据统计我们是30%+,老美超过50%,虽然这个口径貌似争议比较大。

所以企业需要的,是一种全链路的去帮助企业提升数据生产力的技术、产品或服务,也就是全方位的利用和发挥数据价值的技术、产品或服务。要做到这一点,就要尽量的让组织达到“人人用数据、天天用数据”的目标。

二、数据中台的不足

数据中台能不能达到上述目的?我们认为达不到。我所说的数据中台,指的是以网易易数和阿里Dataphin、DataWorks为代表的数据中台建设方法,不包括今年阿里新发布的加上Quick BI、Quick A+和Quick Audience的数据中台,后者我在前面的文章里已经写过,我认为并不是数据中台,因为后面这些它就是产品,就是前台啊。

以网易易数为代表的数据中台,主要解决的是组织内部数据的整合梳理后提供服务的问题,主要是数据质量和效率问题。这里就不重点说标准、规范这些,这些也重要,但主要也是为了质量和效率服务的。要是企业搞了标准、规范,结果质量和效率反而下降了,那就把搞标准、规范的人拉出去砍了。

数据中台很重要,但是它不能直接用。因为它是中台啊,中台就是不是给人直接用的。数据中台就像房子的硬装,质量是得过硬,但只是硬装的房子住不了。

我们人能用的是什么,只能是产品。微信大家都用,云音乐也很多人爱用,因为他们都是好的产品。

做好了数据中台,但做不好数据产品,那就是废柴,劳民伤财。这里我定义的数据产品是指基于数据中台的产品。

我们知道数据中台好做,好实施,因为它都是把各个系统的数据拉出来整理。我们好歹搞了也二十年的信息化吧,系统和数据源还是有的。数据中台的建设方法和工具又很成熟,所以建数据中台不难,当然部门政治问题除外。

但也是因为同样的道理,数据中台成为一个旁路系统,如下图所示,和原来的信息化系统独立的,就用不起来。

三、数据产品及数据产品的开发工具体系

要让数据中台发挥价值,就要基于数据中台开发大量的数据产品,真正做到组织里“人人用数据、天天用数据”,这样数据生产力才能全面提升。

要建设好数据产品,也要一个方法论。因为好的产品要解决问题而不是只是提供给信息,同时各个业务单元、各行各业、每家企业所需要的数据产品都很不相同,因此这个方法论的核心有两点:

1、应该提供一系列用于构建数据产品的工具集,类似开发数据中台的一系列工具。

2、应该发挥数据产品的决策优势,并可以连接原有信息化系统,让数据产品“既能看,也会动”。

这个工具体系应大致包括一下内容,才能很好的支持高效的开发数据产品:

1、产品开发中心:零代码产品开发平台,如网易易数的数据门户;

2、可视化中心:提供数据可视化分析能力,如网易易数的有数报表、复杂报表、有数移动端等;

3、算法开发中心:提供算法开发的能力,含网易易数的机器学习平台;

4、决策中心:提供决策建模及管理能力,如模型管理、执行调度管理、行动管理等;

5、连接中心:提供与业务系统的连接能力,如协同平台连接(如企业微信、钉钉)、OA连接、ERP连接、CRM连接等。对于不提供接口或者非标系统,需要通过RPA连接;

6、取数中心:提供灵活的自助式取数能力,如SQL式取数、维度模型式取数和自然语言搜索等形式;

7、分享协作中心:提供基于数据的分享和协作能力,如评论系统、关注订阅系统等;

8、数据文化中心:提供促进数据文化的组织管理能力,如数据文化案例管理、数据文化赛事系统、数据文化组织绩效管理等。

其中产品开发、可视化、算法、决策和连接这五个中心大致可以形成一个“既能看、也会动”的数据产品开发链路,有些类似于数据中台里“需求-设计-开发-测试-上线”这样的链路。其中也可以看到,现在常见的BI产品做的是数据可视化,属于数据产品开发的一个环节,也可以说是一种特定类型的数据产品。

全链路数据生产力平台,和数据中台的核心区别就在于数据产品以及通过数据产品形成的与企业业务系统的互通,进而形成企业数据应用闭环,如图所示:

业务系统典型的是流程性的信息化系统,行业术语称为System of Record(SoR);数据产品和数据中台是分析洞察系统,行业术语称为System of Insight 或System of Intelligence(SoI)。这是两类最典型的企业数字化系统。上图很好的说明了业务系统、数据中台和数据产品三者之间的关系。

这里省略了一点,就是开发数据中台的生产力,当然也应该提升。现在的数据中台开发工具已经是比较完善的,但开发效率还有提升空间。我们正在开发AutoETL等技术,进一步提升数据中台的建设效率。只不是这点相对没那么重要,就不具体展开了。

四、小结

数字时代企业的生产力,大部分来自于数据生产力,也就是企业因为发挥了数据的价值,所提升了的那部分生产力。这部分生产力,就是企业的相对优势

企业需要的是全链路的去帮助企业提升数据生产力的技术、产品或服务,核心是数据中台+数据产品,且通过数据产品形成与企业业务系统的互通,进而形成企业数据应用闭环

因各个业务单元、各行各业、每家企业所需要的数据产品都很不相同,因此我们要做的应该是一套高效定制数据产品的工具体系

从数据中台到全链路数据生产力相关推荐

  1. 大数据理论体系总结--数据仓库管理与全链路数据体系

    前言 就这样,大数据领域蓬勃发展了好几年,有很多伙伴执迷于技术,成为了分布式计算与存储的领域专家.也有很多伙伴执迷于数据,成为了行业的数据研发专家.当然还有很多小伙伴,热衷于工具系统开发,成为了数据技 ...

  2. 治理企业“数据悬河”,阿里云DataWorks全链路数据治理新品发布

    10月19日,在2021年云栖大会上,阿里云重磅发布DataWorks全链路数据治理产品体系,基于数据仓库,数据湖.湖仓一体等多种大数据架构,DataWorks帮助企业治理内部不断上涨的"数 ...

  3. “三步走”构建全链路数据能力,助力企业全面唤醒数据价值

    01 企业数字化转型加速前进,数据价值唤醒仍面临多重挑战 数字经济蓬勃发展时代,数据已成为关键生产要素.随着国家政策对数据要素价值释放的方向引领,数据赋能企业经营决策.业务模式创新的需求不断强化,以及 ...

  4. 腾讯云发布全链路数据开发平台WeData,大数据开发迈入新时代

    9月11日,在腾讯全球数字生态大会大数据专场上,腾讯云重磅发布了全链路数据开发平台WeData,同时发布和升级了流计算服务.云数据仓库.ES.企业画像等6款核心产品,进一步优化和提升了腾讯云大数据的全 ...

  5. 腾讯云发布全链路数据开发平台WeData,企业数据开发门槛降低60%

    9月11日,在腾讯全球数字生态大会大数据专场上,腾讯云重磅发布了全链路数据开发平台WeData,同时发布和升级了流计算服务.云数据仓库.ES.企业画像等6款核心产品,进一步优化和提升了腾讯云大数据的全 ...

  6. 袋鼠云融资成功解读,全链路数据价值获市场认可 | 爱分析调研

    据信通院数据,2022年在疫情等因素持续影响下,以企业服务.电子商务.互联网金融.医疗健康等为代表的我国互联网投融资总金额持续下探,互联网企业融资环境持续恶化.但在这样的大背景下,仍不乏优质企业获得融 ...

  7. 重磅发布 , 阿里云全链路数据湖开发治理解决方案

    阿里云重磅更新全链路数据湖解决方案,主要包含开源大数据平台E-MapReduce(EMR) + 一站式大数据数据开发治理平台DataWorks + 数据湖构建DLF + 对象存储OSS等核心产品. 近 ...

  8. 数据中台是下一代大数据_全栈数据科学:下一代数据科学家群体

    数据中台是下一代大数据 重点 (Top highlight) Data science has been an eye-catching field for many years now to you ...

  9. 全链路数据血缘在满帮的实践

    摘要:全链路数据血缘,指在数据的全生命周期内,数据与数据之间会形成各式各样的关系,贯穿整个数据链路中. 本文分享自华为云社区<全链路数据血缘在满帮的实践>,作者: 你好_TT. 什么是全链 ...

最新文章

  1. mongoDB研究笔记:复制集概述
  2. 导出数据库数据成txt格式
  3. 订阅基础:RSS、ATOM、FEED、聚合、供稿、合烧与订阅
  4. SQLDump***.txt
  5. Vue结合HTML5拖放API 实现目录拖拽~
  6. html dom 知乎,知乎登录页 - 粒子运动效果
  7. Java工作笔记-@Value注解的使用(可用于配置文件)
  8. ubuntu的两种网络连接模式
  9. mysql慢查询分析工具和分析方法
  10. 使用nginx搭建流媒体直播平台(该方式不适用与多人聊天)
  11. mysql replication 原理_MySQL Replication(复制)基本原理 | 学步园
  12. Swift中的willSet与didSet
  13. 【转】HTTP幂等性概念和应用
  14. 今天我必须要全网曝光这几个公众号
  15. 距离之和最小 V3 51Nod - 1110(带权中位数或者爆搜)
  16. 【HTML——代码雨】(效果+代码)
  17. SGD(随机梯度下降算法)的缺点
  18. kindeditor上传图片php,使用 KindEditor 编辑器PHP语言本地上传图片提示错误
  19. nginx验证微信文件
  20. 两耳不闻窗外事 一心只读圣贤书

热门文章

  1. 解决 Starting MySQL ERROR The server quit without updating PID file
  2. Isometric Tile Engine 的遮挡处理
  3. NOIp2016 联赛总结——新手上路请多关照
  4. winform 窗体无法显示报错“未声明或从未赋值“解决办法
  5. 【Java】自定义异常
  6. cisco单交换机实现基于端口的VLAN设计----计算机网络课设(含.pkt文件)
  7. html5 javascript写法,9 个强大而非主流的JS写法(各种 Hack 写法)
  8. 开源中国源码学习(六)——ButterKnife的使用
  9. Open Euler学习
  10. BT656(4:2:2)YCbCr标准规范