数据中台体系化建设核心方法论

前言

大家好，我是王老狮，最近一直忙于工作，没有更新博客，借着和C站的专家们进行分享交流的机会，强迫自己花时间写了一些内容，今天就把交流会上的分享内容分享给大家。

初识数据中台

说到中台，最早是由阿里在2015年提出的"大前台，小中台"战略中延申出来的概念。灵感源于芬兰的一家游戏公司superCell，也就是接连做出部落冲突，皇室战争等爆款游戏的公司。该公司里一般5-7人就组织成一个独立开发团队，通过将公司开发过程中公共和通用的游戏素材和算法整合起来，并在过程中积累了非常科学的研发工具和框架体系，构建了一个强大的中台。这样就可以快速支持起一个小团队短时间内开发出一款新游戏。如果市场观察不好，也可以快速砍掉。减少试错成本。

在中台存在之前，一般业务支撑都是通过前台和后台。前台一般是直接面向使用用户的交互系统，如抖音，微信等。后台一般是企业内部职称的管理平台，是企业管理核心能力的系统，如CRM，ERP等。

前台一般面向用户是需要快速响应用户的需求，快速创新和迭代。后台是对于企业内部的，为了支撑前台更多的业务，后台要不断的建设，系统不断地膨胀。所以后台系统需要稳定，不能随意改动。

因此在企业发展过程中，随着业务不断增多，就会出现组织架构和层级等系统不断膨胀。出现各个业务部门组织各占山头的局势。出现了各个业务部门墙，业务墙，数据墙，导致部门间相互封闭。资源利用率不高。本来共用的能力结果重复造轮子。

与其说中台是一种架构，不如说是因为公司业务在不断发展膨胀过程中，为了下一步发展，解决公司组织架构臃肿以及资源整合的一种解决方案，使其能够快速复制以及响应市场的变化。

聊了那么久中台，相信大家对中台有了些概念，那么什么是数据中台呢？

数据中台是2018年开始慢慢走进数据人的视野，并在2020年开始越来越火，聊他之前，我们先看下他与数据仓库和数据湖，大数据平台到底有什么区别。

在90年代，企业为了更方便自己做运营分析决策，开始将各个经营门店的数据进行整合，但是因为数据分析需要聚合多个维度的数据，并且要保存历史的数据并进行大批量范围查询。传统数据库已经满足不了数据分析的场景，因此出尽了数据仓库的出现。数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的，不可修改的数据集合。

后面随着进入互联网时代，数据开始爆炸性增长。并且数据类型开始变的繁多，谷歌和亚马逊为代表的互联网的剧透首先进行了相关探索，谷歌率先发表了3篇论文，奠定了大数据时代数据技术基础，它们提出了一种新的，面向数据分析的海量异构数据的统一计算、存储的方法。直到2005年hadoop的出现，大数据技术开始普及。后面数据湖的出现，标志着hadoop趋向走向成熟的标志。

随着大数据技术的普及，大家开始注重数据的开发效率。大数据平台开始兴起。通过按照大数据的使用流程和场景，从数据采集，数据清洗，数据开发，数据建模，数据测试，数据运维，开始数据的流水线式的开发模式。

2016年左右，互联网告诉发展，数据需求越来越多，应用场景也越来越多。数据和运营称为不可分割的一部分。为了满足业务的数据开发需求，前期烟囱式的开发导致企业内的不同产品线数据是割裂的。并且实际运用数据过程中发现，相同业务线的不同系统中，同一个指标数据结果不一样。这样带来很大的一个问题，就是数据割裂严重，大量重复计算，研发效率低，浪费存储资源，跨系统数据打通困难，上层想要统揽企业数据资产整合难。更多的时候老板开始谈论数据的价值。这一年，阿里率先提出数据中台的口号。

数据中台的核心：是避免数据的重复计算，通过数据服务化，提高数据的共享能力，赋能数据应用。数据应用的速度不在受限于数据开发的速度，中间数据不在难于共享，无法积累。通过数据中台孵化更多数据应用，使其产生价值。

数据中台的核心方法论

OneData和OneService

在2016年时，阿里就喊出了数据中台的口号，并且提出了数据中台建设的核心方法论OneData和OneService。如何理解这些定义呢？

这些方法论并没有明确的定义，但是在我们实践过程中，我们更应该注重这些方法论解决了什么样的问题。我们在做中台建设过程中，我是这么理解的

OneData：所有数据只加工一次，数据指标统一来源。
主要包括以下几个核心：

对数据交付制定对应的规划和流程。以提高数据交付的质量。
OneService：所有数据统一服务，提供数据统一出口，并且数据中台的数据应该以API的方式进行访问。

数据服务应该具备以下能力:

我们可以看下阿里数据中台能力全景图能力划分：就是按照业务划分数据建立OneData体系，通过统一对外服务中间件OneService支持上层数据应用。

通过以上方法论，企业要针对自身当前的问题，对数据中台能力以及方向的总结，来达到统一输出和治理的目的。

技术支撑

同时有了方法论的支撑，还需要有好的工具以及技术作为支撑。当前我们主要基础设施如下：

数据处理链路如下：

组织架构

凡是涉及到中台建构的，都离不开组织架构的调整。如果之前没有做过数据的，从0开始，历史包袱可能比较小。如果公司规模较大，存在多个数据孤岛，独立小数仓。那么在组织上还需要有个协同团队，用于推进数据中台体系能力的建设。数据中台提供的是一个跨部门共享数据的能力，因此承担中台建设的职责部门也一定是独立于业务线的部门，并且汇报负责人也是需要是公司高层，这样才能保证项目稳定运行的推进

数据中台能力建设概览

其实数据中台的建设根据每家公司的情况建设方法也不一样。我们更多的是要明确当前数据存在哪些问题，针对痛点数据问题的优先级，公共能力抽象进行数据中台的能力建设，对数据进行分权分域的治理，保证数据进得来，管得了，治得好，看得见，控得住，可共享，以提高数据的使用价值。

大数据体系化建设全景图:

其实数据中台的每一项能力都是一个课题，如元数据管理，数据质量，数据成本，数据治理，都可以拿来好好讲一下，因为时间原因，今天就先到这里。希望大家今天对数据中台有了一个大概的认知，后续如果有机会可以按照中台能力再给大家详细介绍。