数据中台到底是什么,几年过去了,一直众说纷。

笔者认为数据中台不应该是一个单纯的系统或者是一个软件工具,而应该是一套架构、一套数据流转模式。

数据中台需要采集数据作为原材料进行数据加工、数据建模、然后分门别类地储存,再根据实际的业 务场景,打造各类数据服务(含数据应用平台)从而实现对业务的赋能加速。

但以上流程的实现,需要有对应的系统与产品作为支撑,那么基础的数据中台到底应该由哪些系统或者产品组成?

这里我们可以先来看一下几个企业的数据中台架构,文末也分享了10份数据中台实践案例合集,从多家公司的完整实践经验看下来,应该能一窥究竟。

数据中台总体架构图

数据中台是在底层存储计算平台与上层的数据应用之间的一整套体系。数据中台屏蔽掉底层存储平台的计算技术复杂性,降低对技术人才的需求,让数据的使用成本更低。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。

通过资产管理与治理、数据服务把数据资产变为数据服务能力,服务于企业业务。数据安全体系、数据运营体系保障数据中台可以长期健康、持续运转。

阿里巴巴数据中台

全域数据采集与引入:以需求为驱动,以数据多样性的全域思想为指导,采集与引入全业务、多终端、多形态的数据。

标准规范数据架构与研发:统一基础层、公共中间层、百花齐放应用层的数据分层架构模式,通过数据指标结构化规范化的方式实现指标口径统一。

连接与深度萃取数据价值:形成以业务核心对象为中心的连接和标签体系,深度萃取数据价值。

统一数据资产管理:构建元数据中心,通过资产分析、应用、优化、运营四方面对看清数据资产、降低数据管理成本、追踪数据价值。

统一主题式服务:通过构建服务元数据中心和数据服务查询引擎,面向业务统一数据出口与数据查询逻辑,屏蔽多数据源与多物理表。

网易严选中台架构图

数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。

数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。如下图所示,基于数仓里已经半加工好的数据,再通过BI 平台快速的根据业务需求进行数据可视化和数据分析

网易云音乐数据中台架构

最底层是基础设施层,这包括资源环境和平台工具两部分

第二层是数据层,数据层即网易云音乐的 OneData,包括元数据中心、标准化数仓、数据地图、统一指标体系、数据安全中心和保障这套体系的数据质量管理中心。

第三层是服务层,服务层即网易云音乐的 OneService。它提供不同层级和粒度的数据 API,包括从最底层的任务执行调度能力,到最面向应用的人群圈定的各类服务能力。

最上层是产品层,针对一个个核心业务问题(增长、营收、版权)搭建了对应数据产品,实现从业务流程、信息采集、数据洞察到 ROI 评估再到业务流程的完整闭环

转转数据中台

数据模型、数据服务与数据开发,通过数据建模实现跨域数据整合和知识沉淀,通过数据服务实现对于数据的封装和开放,快速、灵活满足上层应用的要求,通过数据开发工具满足个性化数据和应用的需要

某企业数据中台架构图

下面这个数据中台,根据数据资产梳理结果,并以大数据平台的“数据采集+海量存储+计算引擎”为基础搭建公司数据湖,再基于数据湖并结合“数据资产管理服务”和“智能数据研发服务”两大支撑服务群实现中台数据的资产化管理和智能化开发,达到快速应对各类数据需求的目标,也实现一整套基于宽表结构、分主题的基础数据,然后实现对外提供数据服务的统一接口,并最终形成汇聚公司数据及其服务的中台,为实现数据赋能的数据应用和产品提供全方位的基础数据以及各类服务支持。

农行数据中台架构

农行“薄前台、厚中台、强后台”IT 架构体系中对前中后三个层次描述得更为明确,将大数据平台和 PAAS、IAAS 基础设施划入了后台。

根据以上企业的数据中台实践,我们不难看出,所有的数据中台建设,都是围绕着企业数据的采集接入、加工存储、统一管理与数据服务4项能力来开展的。

但无论如何,我非常建议大家多看看不同企业的中台架构图和建设方案,内化自己对中台的理解,而不是盲目跟风、照搬其他公司的中台架构和建设蓝图,比如你真要照着阿里的方式做,基本就把自己的资源耗光了,也很难换来价值产出,也不要仓促地去购买商用的数据中台套件,没有什么较佳路径是可依赖的,每个企业所处的数据和业务阶段都不同,始终要根据你这个企业所处的阶段、一线对于数据的真实需求做出合理的判断和选择。

最后,分享一些我手中珍藏的中台相关的建设方案和报告,推荐大家去看看。

获取方式:

10张架构图详解数据中台,附全套数据中台PPT相关推荐

  1. 10张架构图包含Python所有方向的学习路线,你们要的体系全在这

    一直以来都有很多想学习Python的朋友们问我,学Python怎么学?爬虫和数据分析怎么学?web开发的学习路线能教教我吗? 我先告诉大家一个点,不管你是报了什么培训班,还是自己在通过各种渠道自学,你 ...

  2. 人人都在说的数据中台是什么?附9张架构图优质模板!

    数据中台的概念由阿里巴巴首次提出,它的目的是将企业沉睡的数据变成数据资产,从而实现数据价值变现的系统和机制.本文从什么是数据中台.数据中台的价值.数据中台必备的能力和一些优质的数据中台的架构图模板来展 ...

  3. 数据中台是什么?附9张架构图优质模板

    数据中台的概念由阿里巴巴首次提出,它的目的是将企业沉睡的数据变成数据资产,从而实现数据价值变现的系统和机制.本文小编从什么是数据中台.数据中台的价值.数据中台必备的能力和一些优质的数据中台的架构图模板 ...

  4. 如何画一张架构图(内含知识图谱)

    简介:架构图是什么?为什么要画架构图?如何画好架构图?有哪些方法?本文从架构的定义说起,分享了阿里文娱高级技术专家箫逸关于画架构图多年的经验总结,并对抽象这一概念进行了深入地讨论.内容较长,同学们可收 ...

  5. 八问数据中台:关于数据中台你想知道的都在这里!

    八问数据中台:关于数据中台你想知道的都在这里! 原创: 筱愚她爸 凯哥讲故事系列 1周前 数据中台最近特别火,各个企业都在关注如何构建自己的数据中台,利用数据中台打造数据驱动的经营能力.数据中台的概念 ...

  6. 什么是中台?企业为什么要建中台?从数据中台到AI中台。

    什么是中台?企业为什么要建中台?从数据中台到AI中台. 白发川 CMKT咨询圈 前天 https://mp.weixin.qq.com/s/cwtaHltF53yzV7zjZAah8g?from=gr ...

  7. 数据中台应用实战-数据中台建设四步方法论:采、存、通、用

    前言 关于产品的系列博文,博主已经放在下面专栏,有需要的小伙伴自行订阅. 数据中台入门到精通系列讲解 https://blog.csdn.net/wenyusuran/category_9162242 ...

  8. 数据中台精华问答 | 数据中台和传统数仓的区别是什么?

    中台系统把业务层同性的算法能力,服务能力,业务能力高度集成,有效组织 ,动态规划.更好的帮助上层业务. 今天就让我们看看关于数据中台的问答吧. 1 Q : 什么是数据中台? A : 数据中台是指通过数 ...

  9. 中台架构详解(上)| 建设数据中台系列(四)

    中台打破了应用系统的壁垒,从企业全局梳理和规划业务程,重构了组织架构.业务架构与IT 架构. 在梳理了企业的IT 现状并回顾了SOA 的历史之后,我们需要对中台架构进行一番详细的介绍,阿里巴巴的Ali ...

最新文章

  1. SPOJ Substring Problem(Rabin Karp TLE)
  2. Tableau十三种图表应用场景及其组合图拓展
  3. BUUCTF(pwn)ciscn_2019_ne_5
  4. java response 输出流_java-springmvc+filter 替换输出流、response、响应内容
  5. matlab 合成生物学,合成生物学原理
  6. Javascript内部类
  7. 根据中序和先序遍历创建一颗二叉树☆
  8. 菜鸟学习笔记:Java基础篇5(抽象类与接口、回调函数、内部类)
  9. python可以自学编程吗-编程学习第一步,让你20天搞定Python编程
  10. 网络校时(非NTP)
  11. php indexof(,JavaScript indexOf() 方法
  12. open函数返回-1_Linux驱动开发 / 字符设备驱动内幕 (1)
  13. TreeNMS redis/memcached可视化客户端工具的使用
  14. 华为交换机命令 端口速率_华为交换机看端口速率
  15. 小米笔记本Pro15寸单系统黑果体验
  16. Consul 注册中心介绍以及搭建
  17. 谷歌FLoC与禁用第三方Cookie后的江湖道术
  18. 开发自己的编程语言(五)—— CIL中间代码的生成
  19. [足式机器人]Part3机构运动微分几何学分析与综合Ch01-3 平面运动微分几何学——【读书笔记】
  20. ubuntu实时显示网速cpu占用和内存占用率

热门文章

  1. sql安装程序初始化_SQL Server安装程序–即时文件初始化(IFI)
  2. sql server 优化_SQL Server中很少有外行优化
  3. Azkaban上传出错
  4. Object_clone
  5. Linux 期中架构 inotify
  6. ODOO v10.0 自动生成财务凭证的科目设置
  7. 用Android Studio 出现的问题
  8. 秒味课堂Angular js笔记------$scope.$watch和$scope.$apply
  9. 对android中ActionBar中setDisplayHomeAsUpEnabled和setHomeButtonEnabled和setDisplayShowHomeEnabled方法的理解...
  10. SharePoint对象模型性能考量