【数字化】分享整理-数据中台=大数据平台+数据资产管理平台+数据服务平台
导读：数据中台需要采集数据作为原材料进行数据加工、数据建模，然后分门别类地储存，再根据实际的业 务场景,打造各类数据服务（含数据应用平台）从而实现对业务的赋能加速。
目录
1、数据中台的功能架构概览
2、大数据平台
3、数据资产管理平台
3.1 元数据
3.1.1 业务元数据
3.1.2 技术元数据
3.1.3 管理元数据
3.2 数据模型管理
4、 数据服务平台
4.1 自助分析平台
4.1.1 数据接入
4.1.2 数据处理
4.1.3 数据分析与可视化
4.1.4 内容分发与基础服务
4.2 标签管理系统
4.2.1 用户唯一性识别
4.2.2 标签体系管理
4.2.3 标签数据服务
1、数据中台的功能架构概览
数据中台的功能架构由大数据平台、数据资产管理平台与数据服务平台三大部分组成，其中在数据服务平台中自助分析平台与标签管理系统的应用场景最为广泛。
2、大数据平台
大数据平台是数据中台的基座，我们也可以把大数据平台称为大数据开发平台，它需要具备与大数据相关的开发能力，提供数据存储、数据清洗/计算、数据查询展示及权限管理等功能。
我们可以发现各公司的大数据平台系统架构其实大同小异，各类架构都包含了：
- 数据采集组件
- 数据存储组件
- 数据计算引擎
- 数据权限与安全组件
- 集群管理与监控组件等。
好用的大数据平台需要拥有为用户解决问题的能力。因此，数据中台的大数据平台建设不是比拼引用了多少新技术、覆盖了多少技术组件，而是要看它能否解决：
- 数据中台建设中所面临的复杂数据现状
- 能否成为数据中台打破数据壁垒的技术保障
- 能否提供简洁有效的数据处理工具，如提供自助配置式的数据采集与数据清洗工具等，以及能否提供更多的附加价值。
价值：数据中台的大数据平台建设，可以避免各事业部技术团队各自搭建大数据集群所带来的资源浪费。统一的、成熟的大数据平台对企业来说，不能一蹴而就，需要循序渐进、分步实施，在持续迭代中构建企业的大数据平台生态。
3、数据资产管理平台
数据资产管理平台主要解决数据资源的管理, 数据资产遍布在各个大数据组件中, 有 hive 的表, 有 hbase 的表, 有 druid 的 datasource, 有 kafka 中的流, 各个组件的管控系统很难互相打通, 所以需要一个统一的数据资产管理服务, 来统筹大数据资源的管理。
随着大数据平台的建设，构建数据中台的数据体系成为可能，通过对各业务线数据的归类整合，我们可以构建出各个数据主题域，完成数据的规范存储，形成数据资产，进而完成数据资产管理。
3.1 元数据
元数据管理包括对元数据增删与编辑管理、版本管理、元数据统计分析与元模型管理。总共分为三类：业务元数据、技术元数据和管理元数据。
3.1.1 业务元数据
描述数据的业务含义、业务规则等，包括业务规则、数据字典以及安全标准等多项内容。通过明确业务元数据，让人们产生统一的数据认知，消除数据歧义，让不懂数据库的业务方读懂数据表的内容。
3.1.2 技术元数据
描述数据源信息、数据流转信息及数据结构化信息，主要服务于数据开发人员，让开发人员明晰数据表结构与所依赖的上下游任务，主要包括库表字段（存储位置、数据库表、字段长度和类型）、数据模型、ETL脚本（调度信息）与SQL脚本等。
3.1.3 管理元数据
描述数据的管理归属信息，包括业务归属、系统归属、运维归属以及数据权限归属等信息，是数据安全管理的基础。
价值：元数据记录了数据从无到有的全过程，就像一本有关数据的“字典”，让我们可以查询到每一个字段的含义与出处，同时它又像是一张“地图”，让我们可以追溯数据产生的路径。数据中台的元数据汇聚了企业各业务线与各系统的数据信息，让数据中台具备了提供全域数据资产视图的能力，实现了统一数据资产查询与获取入口的目标。
3.2 数据模型管理
数据模型是数据整合的有效手段，它完成了各数据源之间的映射关系设计，为数据主题建设提供了“实施图纸”。在数据建模过程中，通过明确数据标准，可以确保数据的一致性，还可以消化冗余数据。
价值：数据建模过程中，通过既定的数据模型管理制度，实现对数据模型增、删、改、查的管理，同时遵守数据标准化与数据统一化的要求，确保数据质量。
4、 数据服务平台
4.1 自助分析平台
商业智能平台（BI平台），BI 平台是数据中台服务能力的主要输出方，要想让数据中台发挥出应有价值，那么BI平台的建设必不可少，所以需要将BI 平台建设划分在数据中台体系下。综合来看，BI平台应该具备如下能力。
4.1.1 数据接入
- 文件型：支持Excel等文件数据的上传。
- 数据连接型：支持Mysql、Oracle等数据库，以及Hadoop、Spark等大数据平台（数据中台的大数据平台也在此列）。
- API读取：支持通过API获取第三方系统数据。
4.1.2 数据处理
BI 平台需要能为用户提供数据建模工具，帮助用户创建目标数据（数据集），其提供的功能包括：
- 拖拽表字段
- 自动识别维度/指标
- 自定义视图语句
- 预览数据
- 设置虚拟字段
- 函数计算
- 设置参数等基本操作
- 多源异构的 JOIN/UNION等数据处理功能
4.1.3 数据分析与可视化
BI 平台还需要为用户提供丰富的图表制作和联机分析处理（OLAP）操作，让用户在前端页面完成数据分析与数据可视化等工作。
4.1.4 内容分发与基础服务
BI平台需要具备分发可视化内容，并进行查看权限与数据权限控制的能力。主要的分发方式包括：
- BI平台
- 移动BI（App）
- 数据大屏
- 邮件
- 链接访问
- 以及第三方嵌入等方式。
同时BI平台还需要具备基础的运营管理、角色管理、帮助中心与消息推送等功能。
只有满足以上功能、具备了多维分析、数据可视化与数据大屏等服务能力的BI平台，才可以最大限度的发挥在数据中台体系中的价值，有效地帮助分析师与运营团队提升工作效率。
4.2 标签管理系统
业务部门面临着大量的精准营销场景，这些千人千面的推荐、推送需要基于一个完善且准确的用户画像来实现，而用户画像的构成又需要由大量、全面的用户标签来支撑。
标签数据作为个性化业务应用的基础数据，其可信度与有效性就成了衡量用户画像成熟度的关键指标。
数据中台的标签管理系统，主要具备以下功能。
4.2.1 用户唯一性识别
数据中台的标签管理体系，可以提供统一的用户识别服务，将各业务线的独立用户标识进行关联和统一，从而打通面向整个企业的独立用户识别和标签交互转换方案。
4.2.2 标签体系管理
标签体系管理的主要工作是制订标签数据和信息交互方案，打通用户画像研发和服务中的信息及数据壁垒，提供标签接入、可视化标签信息展现、可视化标签权限控制、可视化用户标签分析、可视化人群定向提取与可视化相似人群扩展（Lookalike）等功能。
4.2.3 标签数据服务
标签管理系统，需要提供用户画像研发和应用过程中涉及的标签提取与查询等服务，以标准化服务接口（API）的方式将相关解决方案提供给各业务方，支持业务方基于数据中台的能力，打造业务线的个性化服务。
核心内容整理自：数据中台=大数据平台+数据资产管理平台+数据服务平台
【数字化】分享整理-数据中台=大数据平台+数据资产管理平台+数据服务平台相关推荐
- 【数据架构系列-03】数据仓库、大数据平台、数据中台... 我不太认同《DataFun数据智能知识地图》中的定义
关注DataFunTalk有2年多了,DataFun确实像创始人王大川讲的那样,践行选择.努力和利他原则,专注于大数据.人工智能技术应用的分享与交流,秉承着开源开放的精神,免费的共享了很多有营养的行业 ...
- 数据中台=大数据平台+数据资产管理平台+数据服务平台
数据中台到底是什么?几年过去了,也一直众说纷纭. 笔者认为数据中台不应该是一个单纯的系统或者是一个软件工具,而应该是一套架构.一套数据流转模式. 数据中台需要采集数据作为原材料进行数据加工.数据建模, ...
- 数据中台建设与应用_Gartner对于建设数据中台的建议
(文:Gartner高级研究总监 孙鑫) 数据中台是中国本土诞生的一个名词,很多企业在"什么是数据中台"和"我要上XX中台"徘徊.其炒作程度跟当年的" ...
- 阿里数据中台大火，国外却在建设数据湖，这两者什么关系？
不知道大家有没有发现,这几年的数据领域有好多的概念,例如:大数据.人工智能.物联网.边缘计算.数据治理.数据湖.数据中台.数据可视化--.这说明数据这个领域真的很"火",可谓是&q ...
- 袋鼠云数据中台专栏（一） ：浅析数据中台策略与建设实践
袋鼠云数据中台专栏(一) :浅析数据中台策略与建设实践 https://yq.aliyun.com/articles/604571?spm=a2c4e.11153940.0.0.22e27e09zv9 ...
- 数据中台是什么意思？如何建设数据中台？
在大数据开发处理过程中我们经常会提到一个数据中台的名词,有不少同学还闹不懂它的含义,今天小千就来给大家介绍一下这个数据中台和建设数据中台需要注意哪些点. 数据中台是什么? 如果说中台提供的是通用的业务 ...
- 【操作系统】磁盘转速速度为7200PRM,平均寻道时间为6ms，每磁道存储1MB数据。如果数据块大小为4KB,则读取一块数据时，数据平均传输速率为
磁盘转速速度为7200PRM,平均寻道时间为6ms,每磁道存储1MB数据.如果数据块大小为4KB,则读取一块数据时,数据平均传输速率为 背景知识 7200PRM = 7200r/min = 120r/ ...
- 云平台是什么意思 云服务平台有哪些【详细介绍】
云平台是什么意思 云服务平台有哪些[详细介绍] 摘要:云平台是什么意思?随着云计算的不断发展,很多的云平台都应运而生,这种平台允许开发者们或是将写好的程序放在"云"里运行,或是使用 ...
- 数据中台大数据治理平台大数据支撑平台建设方案
原文<数据中台及大数据支撑平台项目建设方案>WORD格式,原文获取来源公众号:优享智库 数据中台总体架构 总体架构 大数据支撑平台 大数据支撑平台是整个单位大数据体系架构的基础,其建设目的 ...
最新文章
- 手写java_手写JAVA虚拟机(二)——实现java命令行
- oracle存储过程的常用语法
- 年底了，没啥好送的，送个1T移动硬盘吧~
- java宠物小精灵,简单的Java口袋妖怪扑灭模拟器
- Silverlight 2 DispatcherTimer和通过XAML创建UI元素
- day34 并行并发、进程开启、僵尸及孤儿进程
- html5 canvas实现图片玻璃碎片特效
- guava缓存数据到本地_扩展Guava缓存以溢出到磁盘
- sql 联合查询_一张图看懂sql运行顺序
- 局域网中另外一台服务器的内存_局域网共享打印机，但另外一台电脑却看不到，可能是这3个原因...
- 在html中怎么写背景色渐变,css3背景色渐变
- 2018.9.15，Matlab实验三：字符串、单元数组和结构体
- Criteria和DetachedCriteria区别应用
- 95-50-020-java.nio.channels-NIO-NIO概览
- Centos7——NFS（Network File System）服务
- win10屡次自动打开系统代理服务器的解决办法
- 西电大学计算机专硕,2021西安电子科技大学计算机专硕考研成功经验分享
- b B KB MB GB TB 之间的关系与换算
- 宝宝为什么不吃奶粉,奶爸必读文章
- Java经典代码工具类