总体架构图

数据存储

计算引擎

数据汇聚

数据汇聚是把数据资源通过实时、批量的方式存储到数据中台。基本是按照数据的原始状态堆砌在一起的，是企业对过往所有IT信息化建设积累的成果的融合。

数据开发

数据开发是数据资产内容建设的主战场，是数据价值生产过程中核心环节。数据资源是原材料，数据资产是商品，数据开发就是商品生产流水线，通过这条流水线将数据资源转换成数据资产。

为了降低开发难度，提高开发效率，需要一个可视化的开发平台，主要包括以下产品功能：

数据体系

数据体系是在全域数据资源的基础上，进行标准定义及分层建模，数据体系建设最终呈现的结果是一套完整、规范、标准、准确的数据体系，可以方便支撑数据应用。

贴源数据层STG：数据资源通过批量同步和实时接入临时存储的数据层，只存储增量数据或部分全量数据。数据结构与源系统基本保持一致。仅做简单整合、非结构化数据结构化处理、增加审计列，不做深度清洗加工。

操作数据层ODS：对贴源数据层进行处理，存储全量数据。数据结构和贴源层保持一致。

统一数仓层DW：分为明细数据层DWD、汇总数据层DWS和公共维度层DIM。按照维度建模的方式进行数据组织，定义一致的维度和指标，各业务板块、业务域按照统一规范独立建设，通过清洗、规范化形成统一规范的标准业务数据体系。

明细数据层DWD：按照业务过程建立事实表，主要包括维度表的键、原子指标、少量冗余列和审计列。

汇总数据层DWS：把DWD层按照业务域进行聚合，形成粗粒度的事实表。主要包括维度表的键、派生指标、少量冗余列和审计列。

公共维度层DIM：按照实体对象或数据字典建立维度表，主要包括文本信息、离散数值和审计列。

标签数据层TDM：面向对象建模，对跨业务板块、跨数据域的特定对象数据进行整合，通过ID-Mapping把各个业务板块、各个业务过程中的同一对象的数据打通，形成对象的全域标签体系，方便深度分析、挖掘、应用。主要包括标签类目、标签和标签值。

数据应用层ADS：按照业务的需要从统一数仓层和标签数据层抽取数据，并面向业务的特殊需要加工业务特定数据，以满足业务及性能需求，向特定应用组装应用数据。

资产管理体系

数据资产是指由企业拥有或者控制的，能够为企业带来未来经济利益的，以物理或电子的方式记录的数据资源，如文件资料、电子数据等。在企业中，并非所有的数据都构成数据资产，数据资产是能够为企业产生价值的数据资源。

数据资产管理是指规划、控制和提供数据及信息资产的一组业务职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、交付和提高数据资产的价值。数据资产管理需要充分融合业务、技术和管理，以确保数据资产保值增值。

数据标准管理

数据标准是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。数据标准分为基础类数据标准和指标类数据标准。基础类数据标准是指业务流程中直接产生的，未经过加工和处理的基础业务信息。指标类数据标准是指具备统计意义的基础类数据，通常由一个或以上的基础数据根据一定的统计规则计算而得到。

数据标准包括三个要素：标准类别、数据元、数据属性。

数据标准管理是指数据标准的制定和实施的一系列活动。数据标准管理的目标是通过统一的数据标准制定和发布，结合制度约束、系统控制等手段，实现数据的完整性、有效性、一致性、规范性、开放性和共享性管理，为数据资产管理活动提供规范依据。

数据模型管理

数据模型是现实世界数据特征的抽象，用于描述一组数据的概念和定义。数据模型从抽象层次上描述了数据的静态特征、动态行为和约束条件。

数据模型管理是指在信息系统设计时，参考业务模型，使用标准化用语、单词等数据要素来设计企业数据模型，并在信息系统建设和运行维护过程中，严格按照数据模型管理制度，审核和管理新建数据模型，数据模型的标准化管理和统一管控，有利于指导企业数据整合，提高信息系统数据质量。

数据模型是数据资产管理的基础，一个完整、可扩展、稳定的数据模型对于数据资产管理的成功起着重要的作用。通过数据模型管理可以清楚地表达企业内部各种业务主体之间的数据相关性，使不同部门的业务人员、应用开发人员和系统管理人员获得关于企业内部业务数据的统一完整视图。

数据质量管理

数据质量管理是通过计划、实施和控制活动，运用质量管理技术度量、评估、改进和保证数据的恰当使用。

元数据管理

元数据是有关一个企业所使用的物理数据、技术和业务流程、数据规则和约束以及数据的物理与逻辑结构的信息。

元数据管理是数据资产管理的重要基础，是为获得高质量的、整合的元数据而进行的规划、实施与控制行为。

数据安全管理

数据安全管理是指对数据设定安全等级，按照相应国家/组织相关法案及监督要求，通过评估数据安全风险、制定数据安全管理制度规范、进行数据安全分级分类，完善数据安全管理相关技术规范，保证数据被合法合规、安全地采集、传输、存储和使用。企业通过数据安全管理，规划、开发和执行安全政策与措施，提供适当的身份以确认、授权、访问与审计等功能。

数据安全管理的目标是建立完善的体系化的安全策略措施，全方位进行安全管控，通过多种手段确保数据资产在“存、管、用”等各个环节中的安全，做到“事前可管、事中可控、事后可查”。

数据的安全治理应贯穿于数据的整个生命周期

数据共享管理

数据共享管理主要是指开展数据共享和交换，实现数据内外部价值的一系列活动。

数据内部共享的关键步骤是打通企业内部各部门间的数据共享瓶颈，建立统一规范的数据标准与数据共享制度，数据外部流通和对外开放可以通过数据直接交易与提供数据分析信息的两种方式实现，将数据中符合共享开放层级的信息作为应用商品，以合规安全的形式完成共享交换或开放发布。

数据服务体系

数据服务作为数据中台实现资产服务化的核心能力，是连接前台业务和数据的桥梁，通过服务接口的方式对数据进行封装和开放，快速、灵活地满足上层应用的需求。

数据运营体系

数据运营体系是让数据中台得以健康、持续运转和产生持续价值的体系。数据中台是个复杂工程，数据的汇聚、开发、管理、服务都是要持续进行的工作，如果没有运营体系的保障，可能会导致后期的参与者无从下手，随着时间的推移，数据的质量、服务的效率业务持续下降，进而导致中台无法使用。

产品选择

确定中台架构后，进入产品选择阶段，数据中台主要包括以下产品：

数据中台(七) 数据中台架构相关推荐

面向数据中台的数据治理七把利剑
"与数据同行"开通了微信群,分为数据仓库.数据分析.产品经理.数据治理及数据建模五大专业,现已汇聚了4000位小伙伴了,加微信号:frank61822702 申请入群. 正文开始 ...
大咖说中台 | 建设数据中台系列（五）——中台架构详解（下）
作者 | 耿立超来源 | <大数据平台架构与原型实现:数据中台建设实战> 本质上,中台是一种中心化.平台化的企业组织架构和业务形态,当这样的组织和业务架构投射到IT 系统上时会自然地形成 ...
银行有没有必要建立数据中台？看看这些架构师和技术总监怎么说
中小银行有没有必要建立数据中台? 中小银行面临数字化转型的关键时期,面临技术不够成熟,基础设施基础架构不够重视,是否有必要有数据中台的存在. 如果没有数据中台,感觉数据调度,数据治理,数据质量等无法全 ...
【数据中台】数据中台架构搭建百科全书
0.前言当前,大部分企业不再建设从源数据采集到分析应用的烟囱式系统,更倾向于数据集中采集.存储,并应用分层建设.这种方式一方面有利于应用系统的快速部署,另一方面也保证了数据的集中管理与运营,体现数据 ...
数据中台、业务中台、数据仓库、现有信息架构
背景伴随着云计算.大数据.人工智能等技术的迅速发展,以及这些技术与传统行业快速融合,企业数字化.智能化转型的步伐逐渐加快. IDC(Internet Data Center)预测,到2021年 ...
阿里数据中台七年演化史——行在口述干货
口述/行在整理/何夕口述者行在(张金银),奇点云CEO,阿里巴巴第一个数据仓库的创建者,阿里巴巴第一个消费者数据平台TCIF的创建者,阿里云数据智能平台数加的创始人,2004年以数据技术专家身份加 ...
【数据架构系列-03】数据仓库、大数据平台、数据中台... 我不太认同《DataFun数据智能知识地图》中的定义
关注DataFunTalk有2年多了,DataFun确实像创始人王大川讲的那样,践行选择.努力和利他原则,专注于大数据.人工智能技术应用的分享与交流,秉承着开源开放的精神,免费的共享了很多有营养的行业 ...
大数据、分布式、中台、云原生数据库架构设计与实践 | DAMS 2020
5年前,大数据浪潮的来袭唤起了国内企业对数据作为核心资产的新认知,为了推动国内数据管理加速发展,DAMS中国数据智能管理峰会携手产学研各界权威力量开启了对企业数字化转型的探索与助力. 5年后,我们看到 ...
数据中台浅析——概念、架构以及未来
数据中台浅析 1. 引言在当今的数字化时代,数据被誉为"新的石油",越来越多的企业和组织开始深度挖掘数据的价值.在这个过程中,数据中台逐渐成为了数据管理和分析的核心架构,让我们来 ...

数据中台(七) 数据中台架构