数据中台建设（规划篇）

作者介绍

@蒙佳恩

某大厂数据中台产品经理；

专注于数据产品和数据管理，并持续学习中；

“数据人创作者联盟”成员。

一 什么是数据中台

1.1 数据中台的定义

数据中台不是数据平台，数据中台是处于业务前台和技术后台的中间层，是对业务提供的数据能力的抽象和共享的过程，

数据中台通过将企业的数据变成数据资产，并提供数据能力组件和运行机制，形成聚合数据接入、集成、清洗加工、建模处理、挖掘分析，并以共享服务的方式将数据提供给业务端使用，从而与业务产生联动，而后结合业务系统的数据生产能力，最终构建数据生产>消费>再生的闭环，通过这样持续使用数据、产生智能、反哺业务从而实现数据变现的系统和机制。

数据生产》消费》再生闭环图

1.2 为什么要建设数据中台

数据中台建设的背景跟企业的业务发展阶段和信息技术建设阶段紧密结合，不单单要投入大量的建设人力成本，还有有配套的组织制度、运营团队配合为他保驾护航。所以为什么建设数据中台，希望能达成什么样的目标，对不同企业都来说都是非常重要数据中台建设的起点。行业里，数据中台的主要原因有以下三点：

01 产品矩阵庞大，响应不及时，响应管理混乱

业务发展迅速，产品矩阵庞大，企业数据平台的服务能力有限，响应不及时，同时响应管理混乱，导致数据服务实效延迟，及服务体验较差，影响到业务端数据使用体验和展业效果，有必要进行统一的、模块化、标准化的服务能力管理和输出，实现对业务端的数据需求的精准满足和高效响应。

02 烟囱式建设数据平台，大量源被浪费

由于业务快速发展和缺乏对整个产品矩阵的数据产品体系进行整体规划，就会出现多个业务线烟囱式建设各自的从数据接入>数据集成>数据开发>数据应用》数据治理等阶段的产品，出现大量的重复建设，导致计算、开发人力、运维人力、存储等资源的重复浪费。对于这类现状在告诉发展阶段的企业是常见状态，有必要对整个产品矩阵做整体的数据中台能力的规划，让业务的数据需求在不断增加的情况下，企业的有整套的可复用的数据能力库及配套机制，支持业务正常运转，节省研发成本

03 数据治理的需要

面对业务已经沉淀的大量数据，逐步形成了企业的数据资产。而这些数据资产如何成为可持续使用的，为企业带来价值的数据，需要数据治理进行提升数据质量，比如设计数据质量校验的规则和使用流程，设计数据管控权限，数据如何安全输出及共享的设计等，如何在整体上发挥出数据的协同效应，为业务提供更高价值的数据服务链路，数据中台可以将这些数据能力整合到一起，对业务端提供稳定的持续的服务能力。

二 数据中台的架构

数据中台建设是个宏大的系统工程，前期的整体架构规划在整个项目中尤其重要，接下来按照数据活动进行分层，分为底层服务、数据接入、数据整合、数据挖掘分析、业务应用、数据服务管理六层，并全程贯穿数据安全管控活动。接下来将分别简单阐述：

数据中台架构图

01 底层服务

底层服务层重点为整个数据中台，从数据接入层到数据安全管控全流程的数据活动，提供统一的数据存储资源、计算引擎、数据处理中间件服务，增强了服务器资源的有效调度和统一管理。

02 数据接入

数据接入层提供统一的数据接入平台，根据数据采集的业务场景，平台提供了数据收集的工具及解决方案，让数据采集》数据传输》数据存储》数据资源管理全链路都可自动化完成，并实现对活动任务的自动化监控。

03 数据整合

数据整合层提供统一数据处理及标签/模型开发服务。在整合层的数据需求应当来自企业的数据使用场景对数据进行建模，生成如标签管理、数据仓库这样的服务平台，为企业的数据团队／业务团队使用数据提供一个高效的整合后的数据源。并在这一层对数据进行治理，例如编码规范、主题域划分，表模型规划、数据质量校验规则设计等都在这一层完成，通过这些模型、规范及平台的协同作用，为企业提供可高效获取并质量可靠的数据。

04 数据挖掘分析

数据挖掘分析层整合了企业存在的几大数据挖掘及分析工作场景，比如对用户行为数据进行数据分析、通过算法模型挖掘用户潜在的商业价值、或者多个BU之间进行数据加密碰撞发现新合作场景等，这一层提供的平台及工具，基本覆盖了大部分数据挖掘的工作场景。通过数据中台实现共享这些数据组件，使得各部门和团队都可以通过工具高效完成挖掘分析工作。

05 业务应用

业务应用层是指可以直接提供给业务端使用的数据产品，业务可以直接使用这些数据产品高效获得满足业务需求的目标数据，甚至这些数据可以直接打通到业务系统，比如DMP平台，让用户从产生数据需求>数据加工>数据使用的整个数据获取周期大幅度缩短。此外，也可以通过提满足特定具体业务场景的数据应用来给业务赋能。

06 数据服务管理

数据服务管理层提供统一的数据服务出口，目标在帮助企业提升数据资产的应用价值，同时要保证数据的安全性和有效性。统一服务通过行业成熟的ONESERVICE解决方案，构建API和数据服务接口来满足不同数据使用场景的需要，同时降低了数据的开发门槛。

三 数据中台建设路径

数据中台的建设路径，跟企业的业务所处的业务阶段有关，亦跟企业所处的信息化建设阶段有关。行业里的数据中台建设路径，总体可以分为以下三类：

数据中台建设路径难度对比图

3.1 路径一：业务中台与数据中台并行建设

数据中台与业务中台并行建设，复杂度可想而知，也是挑战难度最大的路径。因为建设业务中台的过程需要对业务进行梳理和规划，这个过程会反复出现多次对流程调整，这给数据中台建设带来了非常多的不确定性，这也进一步增加了数据中台建设的难度。

3.2 路径二：业务中台先行建设，数据中台跟进

相对比数据中台与业务中台并行的复杂度和挑战度更高，路径二显得更加稳健，也是被企业采用最多的一种路径。

业务中台先行，数据中台跟进。很多企业会采取这种模式。这种模式吸取了第一种模式下的业务不确定给数据中台带来了多种不确定的教训。

在数字化营销成熟发展的今天，其实业务与数据早已不能完全分割。业务数据化和数据业务化几乎是同时完成的。

3.3 路径三：单独建设数据中台

单建设数据中台等选择一般是在业务系统已经相对稳定时期，但是这种模式下也存在挑战。业务等野蛮生长过程，数据散落在各个系统，数据质量参差不齐。这个阶段进行数据治理，必定是非常繁杂耗时的、产出不明显的工作。同时，涉及各个领域的数据整合及数据能力的规范化，势必会带来组织架构的变革和重组，这是数据中台建设的至关重要环节。如果在上层的政策和资源支持上，不足以有效协调各个领域数据建设者同一目标，齐心协力，那么也很难把数据中台成功建设起来。

四 数据中台的价值

数据中台建设前期消耗的巨额成本常常给数据中台项目带来价值挑战。

数据中台的建设阶段如同自建房子，房子建设过程都是在消耗成本，房子开始自行入住和出租后，才能真实看到所建新房子的产生的价值。

数据中台的使命是通过全局规划来治理和运营企业的数据资产，让数据使用者能高效的获取可靠有效的数据。

若长期有效的运营这些数据资产，数据能力组件的复用带来的工具研发降本愈发明显；若数据复用到跨部门跨业务线的场景愈发丰富，数据中台对业务端产生的价值也呈指数级增长。

数据中台的价值，我将归类为一下三大点：

4.1 帮助建立数据标准

在建设数据中台之前，企业一般比较少有全局的数据标准或统一数据规范等，即使有，也因为数据平台的分散状态比较难以落地。

但是数据中台建设会促使企业还要建设数据标准或规范，比如数据接入规范、数据集成规范、数据存储规范、数据处理规范、数据使用权限规范、数据共享规范、数据销毁规范、数据安全规范等。这些标准都是数据中台建设阶段也需要建设的体系。

有数据标准/规范体系护航，数据中台才能更好的运转；也只有依托数据中台，数据标准才能更好的执行和落地。数据中台建设就是一个促使企业建设数据标准/规范的好契机。

4.2 赋能业务，实现降本增效

数据中台的最终价值还是降本增效。无论是建设数据标准，还是复用的数据能力，都是为了帮助赋能业务，企业达成战略目标。下面分别从两个角度去阐述所产生的降本和增效价值。

降本：数据中台通过复用数据能力组建，快速完成数据链路的搭建，减少重复研发的人力和维护成本；

增效：通过快速复用组建完成数据链路搭建，让数据从接入》加工》使用的整个周期缩短，减少业务端的数据获取等待时延，为业务方赢得更多的展业时间和机会；

通过提供赋能于具体业务场景的数据应用，帮助业务端更精准的发现客户、分析客户等，用数据滋养各线业务，使整个业务运营过程体验更友好和高效，并缩短运营周期。

4.3 促进数据组织建设

数据中台承担着一定的实现企业战略目标的使命，数据中台的建设过程势必需要对应的组织和制度来支撑中台的建设和运营。

数据中台这种体系化工程将横向拉通企业数据的相关方，包括中台建设团队、中台运维团队、数据产品经理团队、数据运营团队等，形成企业真正的数据组织，

五总结

1、从定义和建设背景来认识数据中台，对中台有了认知性的概念；

2、从数据中台架构角度按分层介绍每一层的数据能力及建设逻辑，对数据中台的服务能力有整体的认知；

3、从数据中台建设的常见路线分析，并分析建设难度及风险，认识根据企业的业务发展现状及数据需求现状，选择合适的数据中台建设路线。

4、数据中台的主要价值有促进数据标准建设，并通过中台落执行数据标准；此外降本增效是数据中台的终极目标；

此处总结！

参考资料：

[1] 陈新宇等，《中台实践》

数据中台建设（规划篇）相关推荐

爱奇艺数据中台负责人马金韬：数据中台建设与应用
中生代技术链接技术大咖,分享技术干货接力技术,链接价值本文根据马金韬老师在[deeplus直播第233期]线上分享演讲内容整理而成.首发于公众号dbaplus,经授权转载(文末有获取本期PPT& ...
数据中台建设五步法（文末赠书）
点击▲关注 "中生代技术" 给公众号标星置顶更多精彩第一时间直达数据中台是当下非常热门的话题,可以解决企业重复造轮子的问题.虽然数据中台在互联网企业中已经有了多年的实践, ...
数据中台建设中的得与失
本文根据新康众数据中台负责人闫顺成<数据中台建设中的得与失>的演讲整理.主要内容如下: 一.什么是数据中台每个企业.每个岗位.每个人对数据中台的理解都有所不同.在阿里,数据中台与方法论 ...
新康众闫顺成：数据中台建设中的得与失
本文根据新康众数据中台负责人闫顺成<数据中台建设中的得与失>的演讲整理.主要内容如下: 一.什么是数据中台每个企业.每个岗位.每个人对数据中台的理解都有所不同.在阿里,数据中台与方法论. ...
安信证券王环：安信证券数据中台建设历程
2020 年 10 月 13 日,在以"数字化正当潮"为主题的「神策 2020 数据驱动用户大会」现场,安信证券信息技术中心数据平台团队负责人王环发表了<安信证券数据中台 ...
钱大妈数据中台建设最佳实践
简介:钱大妈数据中台建设最佳实践公司简介钱大妈是在社区生鲜连锁中,以"不卖隔夜肉"作为品牌理念的的行业开拓者.在成立之初即从新鲜角度重新梳理传统生鲜行业的标准,对肉菜市场进行新 ...
爱奇艺数据中台建设组合拳：日志投递、统一数仓、大数据平台
本文根据马金韬老师在[deeplus直播第233期]线上分享演讲内容整理而成.首发于DBAplus社群,经授权转载(文末有获取本期PPT&回放的方式,不要错过) 马金韬爱奇艺数据中台负责人 ...
再问数据中台 - 数据中台建设的最大的挑战是什么
数据中台建设的最大挑战,是如何找到有价值的业务场景. 数据中台是一个能力平台,是将企业的数据能力封装到一个平台中,快速提供给业务前台使用的工作.那么企业需要什么样的数据能力,哪些业务需要这些能力,这些 ...
有道精品课数据中台建设实践
今天给大家带来有道精品课数据中台负责人李荣谦所做的分享<有道精品课数据中台建设实践.pdf>,关注数据中台等的伙伴们别错过啦!(到小程序:省时查报告中搜索"中台".& ...

数据中台建设（规划篇）

数据中台建设（规划篇）相关推荐

最新文章

热门文章