阿里提出了“大中台,小前台”,其中台事业部包括搜索事业部、共享业务平台、数据技术及产品部,数据技术及产品部应是数据中台建设的核心部门。

那么,数据中台到底是什么?具体包含哪些内容?跟大数据平台是什么关系?在架构层面是怎么体现的?数据中台跟产品又有什么关系?

阿里数据技术及产品部的掌门提倒了数据中台的具体含义,这里引用他说的话:

“很多人会把数据比作“石油”,马老师(马云)也说过,阿里巴巴要成为全球电子商务的“水电煤”。我们现在搭建的数据中台,就是希望扮演“发电厂”的角色。”

“我们知道,电力的发展可以分为几个阶段,最开始是一些有能力的企业自己发电,后来出现新的工业产能,有的企业电用不掉,有的却不够用,这时候国家机构就出来了,会去搭建国家级的电网,不管是核能发电,还是风力发电、水力发电,最大程度地保障不同群体的用电需求。”

“我们数据中台也是这样一个运转思路,我们落到实处是一个倒三角形,从下往上分为四个部分——”

“第一是数据技术。没有数据中台的时候,不管是阿里内部还是各商家,大家都有自己的数据中心、机房、小数据库。但当数据积累到一定体量后,这方面的成本会非常高,而且数据之间的质量和标准不一样,会导致效率不高等问题。因此,我们需要通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。”

“第二是数据资产。数据中台把阿里系的数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而保证为集团各业务和商家提供高效服务。”

“第三和第四都是数据服务,包括服务商家和服务小二。例如生意参谋和阿里指数,就是数据中台中面向商家端提供的数据服务。”

“数据中台服务阿里,说白了更多是在为各位商家服务。平台会确保大家在使用数据的过程中,口径、标准、时效性、效率都有保障,能有更高的可靠性和稳定性。”

以上说得好像都对,但逻辑上有些是无法自洽的,比如这里的数据技术跟阿里云的数据技术是什么关系?数据中台要不要承担hadoop/ETL这类平台和工具的研发?生意参谋是个端到端的产品,似乎不能划为数据中台?

当然,从职能看,作为中台部门的确需要基于产品直接服务一线客户,而不是往后退,这也是以前笔者对于数据中台最大的困惑,一直在想这个数据中台的部门绩效该如何定呢?没有业务的滋养中台如何迭代优化呢,阿里算是解惑了。

但如果把直接的产品当成中台显然是不合理的,阿里提了数据中台,忙坏的倒可能是那些做数据架构和数据管理的,因为架构讲究逻辑严密,本质和边界必须定义清楚,没有歧义,否则做事就会很茫然,不知道该怎么入手。

比如哪天领导问你,我们企业的数据中台有没有,要向阿里学习啊,有了清晰的概念你就可以做映射了,否则就会显得手足无措,这种事情其实很多。

笔者的企业最近在做IT规划,很多人就对数据中台要带一些产品职能有异议,记得以前笔者还把营销平台当成中台,号称也是赋能所有营销人员的,这就是概念不清造成的问题。

说来也奇怪,网上很难找到数据中台的更科学解释,能找到的大多也不够清晰,与大数据平台有千丝万缕的关系,笔者最近正好在思考这个问题,特此分享于你,当然仁者见仁,智者见智了。

所谓数据中台,即实现数据的分层与水平解耦,沉淀公共的数据能力,笔者认为可分为三层,数据模型、数据服务与数据开发,通过数据建模实现跨域数据整合和知识沉淀,通过数据服务实现对于数据的封装和开放,快速、灵活满足上层应用的要求,通过数据开发工具满足个性化数据和应用的需要,见下图(以某运营商为例):

1、数据模型

数据模型是分层次的,以前叫作数据仓库模型,笔者这里概括为三层,基础模型一般是关系建模,主要实现数据的标准化,我们叫作“书同文、车同轨”,融合模型一般是维度建模,主要实现跨越数据的整合,整合的形式可以是汇总、关联,也包括解析,挖掘模型其实是偏应用的,但如果用的人多了,你也可以把挖掘模型作为企业的知识沉淀到中台,比如离网挽留的模型具有很大的共性,就应该有人把它规整到中台模型,以便开放给其它人使用,中台的中是相对的,没有绝对的标准。

2、数据服务

将数据模型按照应用要求做了服务封装,就构成了数据服务,这个跟业务中台中的服务概念是完全相同的,只是数据封装比一般的功能封装要难一点,毕竟OLTP功能的变化有限,而数据分析受市场因素的影响很大,变化更快,导致服务封装的难度变大。

随着企业大数据运营的深入,各类大数据应用层出不穷,对于数据服务的需求非常迫切,大数据如果不服务化,就无法规模化,比如浙江移动封装了客户洞察、位置洞察、营销管理、终端洞察、金融征信等各种服务共计几百个,每月调用量超过亿次,灵活的满足了内外大数据服务的要求。

3、数据开发

但有数据模型和数据服务还是远远不够的,因为再好的现成数据和服务也往往无法满足前端个性化的要求,这时候就得授人以鱼不如授人以渔了,数据中台的最后一层就是数据开发,其按照开发难度也分为三个层次,最简单的是提供标签库(DMP),用户可以基于标签的组装快速形成营销客户群,一般面向业务人员,其次是提供数据开发平台,用户可以基于该平台访问到所有的数据并进行可视化开发,一般面向SQL开发人员,最后就是提供应用环境和组件,让技术人员可以自主打造个性化数据产品,以上层层递进,满足不同层次人员的要求。

对于标签库(DMP)到底是属于SaaS还是PaaS是有争议的,但标签库这类平台显然较生意参谋类产品更中台一点,因为其通用性更强,专有业务的特性不是非常明显,笔者还是认为可以归为中台。

应该来讲,数据开发中的组件,比如页面组件、可视化组件什么的,归属到业务中台似乎更合理,但其实也要看企业的实际情况,哪里用的多就可以归属到哪里,没有绝对的标准了。

以上划分方式在逻辑上还是说得通的,但还有很多没有考虑进来,比如算法服务、机器学习引擎、hadoop、MPP等等,笔者觉得算法服务应该属于数据服务的一种类型,但h a d o o p、MPP、机器学习引擎更底层一点,应属于私有云或公有云的范畴了,比如笔者看到阿里云就提供了MaxCompute这类机器学习服务。

关于数据中台的分层看似简单,但笔者却纠结了好久,很多边界是模糊的,最近看的一本书提到,新的概念如果跟既有知识体系不相符,一定要努力搞清楚,不能人云亦云,只要能表达出自己的观点,即使还是错了,也有了被人家纠正的机会,对于事物理解的不深入,大多是不求甚解导致的概念不清的结果。

数据中台到底是什么?相关推荐

  1. 数据中台到底是解决什么问题的

    数据中台到底是解决什么问题的 文章目录 数据中台到底是解决什么问题的 概述 让数据用起来 业务数据化,数据业务化 企业发展与信息化建设中的痛点 企业数字化转型 数据中台的出现 数据资产管理 数据中台 ...

  2. channelinboundhandler中都包含了哪一类的方法_数据仓库、数据集市、数据湖、数据中台到底有什么区别?都得做吗?...

    点击上方蓝字关注数据玩家 经常看到有人问这个问题,数据玩家也看过很多解释,感觉都不够直观,这里,我尝试用一个大家都理解的例子来说明. 什么是数据仓库? 大家都去宜家买过东西吧,还记得一楼的大仓库不,你 ...

  3. 数据中台到底包括什么内容?一文详解架构设计与组成

    01 数据中台功能架构 数据中台建设是一个宏大的工程,涉及整体规划.组织搭建.中台落地与运营等方方面面的工作,本节重点从物理形态上讲述企业的数据中台应该如何搭建.一般来讲,企业的数据中台在物理形态上分 ...

  4. 数据仓库、数据集市、数据湖、数据中台到底有什么区别?

    经常看到有人问这个问题,数据玩家也看过很多解释,感觉都不够直观,这里,我尝试用一个大家都理解的例子来说明. 什么是数据仓库? 大家都去宜家买过东西吧,还记得一楼的大仓库不,你如果看中了某个家具,想要自 ...

  5. 数据中台到底如何落地实现【含架构图及代码】

    数据中台已经被很多公司应用,数据中台资料也不少,可是作为程序员更关心的是该如何代码实现.下面是中台相关代码实现及说明. 数据中台说明: Todo: CDH, hbase,zk 部署和配置.代码发布. ...

  6. 到底什么是数据中台?

    到底什么是数据中台? 2019-07-252019-07-25 16:40:26阅读 13.4K0 最近可能大家听到"数据中台"这个词越来越频繁了,有时候我跟一些朋友聊起来,也是都 ...

  7. 读透《阿里巴巴数据中台实践》,其到底有什么高明之处?

    这是傅一平的第296篇原创 作者:傅一平 个人微信:fuyipingmnb 最近阿里巴巴分享了<阿里巴巴数据中台实践>这个PPT(自行搜索原始文章),对于数据中台的始作俑者,还是要怀着巨大 ...

  8. 全面分析阿里数据中台,小白也能看懂 | CSDN原力计划

    扫码参与CSDN"原力计划" 作者 | yuanziok 来源 | CSDN原力计划获奖作品 数据中台被誉为大数据的下一站,由阿里兴起,核心思想是数据共享,2015年阿里提出&qu ...

  9. 中台到底是什么?中台包含哪些内容?(包邮送书)

    抽奖包邮送书4本<中台战略:中台建设与数字商业>步骤: 1.防止失联和伸手党,同时方便领奖,必须添加阿广好友才可参与抽奖 2.抽奖 ---正文--- 导读:中台应该包含哪些内容呢?什么应该 ...

  10. 安信证券王环:安信证券数据中台建设历程

     2020 年 10 月 13 日,在以"数字化 正当潮"为主题的「神策 2020 数据驱动用户大会」现场,安信证券信息技术中心数据平台团队负责人王环发表了<安信证券数据中台 ...

最新文章

  1. 算法时间复杂度求解法【详细过程说明】
  2. java 捕获数据包,缓存从pcap捕获的数据包
  3. Behavioral模式之Memento模式
  4. 导入不了css,CSS不导入。
  5. Openfiler的安装和配置
  6. 华清实训的收获(人工智能的小广告和福利)
  7. Flutter 项目开发指导 从基础入门到精通使用目录
  8. 【spring学习】03
  9. php100的阶乘代码while语句,编写PHP程序,使用while循环计算4096是2的几次方,然后输出结果...
  10. 朴素贝叶斯(naive Bayes)原理与应用
  11. Redis与LRU实现
  12. rgb sw 线主板接口在哪_旋转RGB制作指导
  13. 基于STM32的DMX512开发
  14. php 生成小程序码
  15. matlab control包,免费试用Instrument Control Toolbox
  16. WinPE的制作 - 进WinPE后自动运行程序
  17. excel表格横向纵向变换_WPS表格办公—返回Fisher变换值的FISHER函数
  18. 虚函数:多态的实现原理
  19. pip安装包下载地址
  20. LeetCode 第 194 场周赛

热门文章

  1. Rstudio插入Excel数据
  2. 计算机二级网页暂时无法连接,小编教你二级网页打不开怎么解决
  3. 7. Java8新特性-并行数据处理(parallel)
  4. HTMLParser(一个比较流行的html代码解析、处理开源项目)学习,总结
  5. 《极客与团队》一HRT实战
  6. 锁定计算机后 360wifi,如何使360wifi关闭电脑后继续使?
  7. Oracle的本地网络服务名配置
  8. 【华为云技术分享】快速搭建网站之云速建站
  9. oracle数据库的使用
  10. 【应用统计学】总体方差的假设检验