大数据平台数据治理体系建设和管理方案
1. 范围 1
2. 规范性引用文件 1
3. 术语、定义和缩略语 5
4. 总体说明 8
4.1. 概述 8
4.2. 目标 9
4.3. 原则 9
5. 数据治理体系 10
5.1. 总体框架 10
5.2. 组织架构 11
5.2.1. 组织构成 11
5.2.2. 角色职责 12
5.3. 系统架构 13
5.3.1. 系统功能框架 13
5.3.2. 系统模块流程 14
5.4. 系统边界 15
5.4.1. 与企业级省大数据平台关系 16
5.4.2. 与对外能力开放平台关系 16
5.4.3. 与平台运维系统关系 16
6. 数据治理核心模块 17
6.1. 数据标准管理 17
6.1.1. 背景 17
6.1.2. 错误!未定义书签。
6.1.3. 目标及原则 18
6.1.4. 业务分类和定义 18
6.1.5. 技术功能要求 22
6.1.6. 本期建设范围及内容 25
6.1.7. 实施要求 错误!未定义书签。
6.2. 元数据管理 26
6.2.1. 背景和定义 26
6.2.2. 元数据运营模式 27
6.2.3. 元模型标准 28
6.2.4. 元数据运维 32
6.2.5. 本期重点建设内容 32
6.3. 数据质量管理 33
6.3.1. 与传统经营分析系统的区别 33
6.3.2. 范围和原则 34
6.3.3. 与其它功能模块的关系 34
6.3.4. 本期数据质量功能需求 37
6.3.5. 本期数据质量运维要求 38
6.4. 数据资产管理 39
6.4.1. 数据资产概述 39
6.4.2. 数据资产范围 40
6.4.3. 与其它功能模块的关系 41
6.4.4. 本期数据资产功能需求 41
6.4.5. 本期建设内容 44
6.5. 数据安全管理 44
6.5.1. 数据安全概述 44
6.5.2. 建设原则 45
6.5.3. 建设内容 45
6.5.4. 边界关系 45
6.5.5. 技术功能 46
6.5.6. 管理要求 47
7. 数据治理场景 50
7.1. 背景描述 50
7.2. 场景一：银行伪卡交易判别 51
7.2.1. 背景介绍 51
7.2.2. 场景描述 51
7.3. 场景二：银行手机贷业务 52
7.3.1. 背景介绍 52
7.3.2. 场景描述 53
8. 附录 54
附录一：数据标准框架 54
附录二：数据标准体系定义内容示例 54
1.1. 概述
本规范用于指导企业级省大数据平台数据治理子系统建设，规定了省大数据平台数据治理的范围和要求，明确了数据治理子系统的体系结构，制定了数据治理子系统的功能和处理流程。数据治理子系统包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理等功能模块。本方案借鉴资产管理的方法理论来管理数据，将数据作为一种特殊的资产，对进入平台的数据进行标准化的规范约束，并以元数据作为驱动，连接数据的标准管理、数据质量管理、数据数据安全管理的各个阶段，形成统一、完善的数据治理体系，以解决实际业务问题为导向，增强数据治理子系统对业务发展的支撑能力。
1.2. 目标
数据治理子系统的建设为数据治理工作提供强有力的系统支撑。本期规范建设目标是以元数据为驱动，建立省大数据平台完整的数据治理体系。从组织架构、系统功能等方面增强数据宏观管控，并实现精细化管理，具体包括：
l 数据治理组织架构管理：定义数据治理所需人员组织上的岗位和职责，从管理角度支撑数据治理工作的落地和执行。
l 数据标准管理：建立企业级省大数据平台数据标准体系，并制定数据标准运维管控制度和流程。
l 元数据管理：降低元数据使用难度、提升用户体验，使大数据平台各类用户均能参与到元数据运营维护当中。
l 数据质量管理：为内、外部用户提供平台化的数据质量监控；通过扩充和优化公共规则库、保证数据的完整性、一致性、准确性、及时性、合法性，提升用户使用感知；并提供数据质量应用满足个性化需求。
l 数据资产管理：重点建设从规划、注册、运维到注销的全流程管理体系，使数据资产管理系统化、可视化。
l 数据安全管理：建立体系化的数据安全管控策略，通过用户安全管理、数据安全管理实现全方位数据安全管控机制，通过技术手段与管理措施相结合的方式落实数据安全，做到事前可管、事中可控、事后可查。
1.3. 原则
企业级省大数据平台数据治理子系统建设应遵循以下基本原则：
1. 有效性原则
体现大数据平台数据治理过程中数据的标准、质量、价值、管控的有效性、高效性。
2. 价值化原则
体现数据治理过程中以数据资产为价值核心，最大化大数据平台的数据价值。
3. 统一性原则
体现大数据平台架构统一、标准统一、元数据统一、质量流程统一、资产价值统一的一体化管控平台体系。
4. 开放性原则
体现平台化、开放性运维思想，实现人人参与数据治理、人人参与数据运维。
5. 产品化原则
体现大数据平台数据治理能力的显性化，通过产品化互联网思维服务大数据平台数据生态圈用户。
6. 安全性原则
体现安全的重要性、必要性，保障大数据平台数据安全和数据治理过程中数据的安全可控。
2. 数据治理体系
2.1. 总体框架
数据治理总体框架包括组织架构、数据治理模块、数据运维三部分。通过组织架构建立管理办法，制定工作流程，确定角色职责。数据治理模块主要包括数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理，各模块协同运营，确保大数据平台的数据一致、安全、有效。数据运维贯穿整个数据治理体系的流程中，实现平台化的运维管理思路。数据治理总体框架如图51所示：
图51数据治理体系框架
2.2. 组织架构
数据治理组织的构建旨在通过建立数据治理组织架构明确各级角色和职责，保障数据治理的各项管理办法、工作流程的实施，推送数据治理工作的有序开展。
2.2.1. 组织构成
数据治理组织架构主要由数据治理委员会、数据治理中心和各业务部门构成。组织架构划分和角色设定如图 52所示：
图 52 数据治理组织架构图
2.2.2. 角色职责
组织责任体系是数据治理责任落地的保障，数据治理组织架构通过明确各角色职责，实行认责制度，让数据治理工作更好的融入到数据日常使用和相关的工作中，从而推动数据运维自治的实现，如表5-1。
表5-1数据治理组织架构角色职责定义内容
组织结构
角色
角色描述
角色主要职责
数据治理委员会
数据管理决策者
由公司主管领导和各业务部门领导组成
负责牵头数据治理工作；制定数据治理的政策、标准、规则、流程，协调认责冲突；
对数据事实治理，保证数据的质量和隐私；
在数据出现质量问题时负责仲裁工作。
数据治理中心
数据平台运营者
数据管理中心机构的平台运营人员
负责提交数据标准的要求及数据质量规则和业务规范，解释数据的业务规则和含义；监督各项数据规则和规范的约束的落实情况；
负责数据治理平台中整体数据的管控流程制定和平台功能系统支撑的实施；
负责平台的整体运营、组织、协调。
各业务部门
数据提供者
相关数据开发提供人员
负责数据及相关系统的开发，有责任执行数据标准和数据质量内容；
负责从技术角度解决数据质量问题；
作为数据出现质量问题时的主要责任者。
数据维护者
数据维护人员
制定相关数据标准、数据制度和规则；
遵守和执行数据标准管控相关的流程，根据数据标准要求提供相关数据规范；
作为数据出现质量问题时的次要责任者。
数据消费者
数据使用人员，包含内部用户和外部用户
作为数据治理平台数据管控流程的最后参与使用者；
是数据资产价值的获益人；
作为数据治理平台数据闭环流程的发起人。
2.3. 系统架构
2.3.1. 系统功能框架
数据治理功能框架明确了数据治理在企业级省大数据平台中的定位，并以合理的功能层次划分指导数据治理系统相关功能建设。系统功能框架如图53所示。
文章引用的资料均通过互联网等公开渠道合法获取，仅作为行业交流和学习使用，并无任何商业目的。其版权归原资料作者或出版社所有，本文作者不对所涉及的版权问题承担任何法律责任。若版权方、出版社认为本文章侵权，请立即通知作者删除。
大数据平台数据治理体系建设和管理方案相关推荐
- 谈谈大数据时代企业如何进行数据治理体系建设
随着云计算.物联网.移动互联网等新一代信息技术的快速发展,人类产生的数据量呈指数级增长.据资料显示,2012年,全球数据量达到2.8ZB,预计到2020年,全球数据量将达到40ZB.大数据蕴含着巨大的 ...
- 企业级-数据治理体系建设
好的数据治理体系可以盘活整条数据链路,最大化保障企业数据的 采集.存储.计算 和 使用 过程的可控和可追溯. 如何构建企业数据治理体系?企业数据治理过程需要注意哪些问题?总体而言,不能一口一个胖子,路 ...
- 300页超全大数据平台数据治理规划方案模板
大数据时代的安全与传统信息安全相比,变得更加错综复杂,大量的数据汇集,包括大量的企业运营数据.客户信息.个人的隐私和各种行为的细节记录,这些数据的集中存储增加了数据泄露风险.大数据的安全保护对数据完整 ...
- 你理解常见如阿里，和友商大数据平台的技术体系差异以及发展趋势和技术瓶颈，在存储和计算两个方面进行概述
题目: 你理解常见如阿里,和友商大数据平台的技术体系差异以及发展趋势和技术瓶颈,在存储和计算两个方面进行概述. 参考答案:开放性问题,无标准答案.
- 《美团数据平台及数仓建设实践》（209页）.PDF
7份有关数据化建设的资料都整理好了,包括数据仓库.数据中台.数据仓库等等,有需要的私信:"美团"领取 1.美团数据平台及数仓建设实践.PDF下载 美团技术团队的博客质量非常高,里面 ...
- 【数字化】分享整理-数据中台=大数据平台+数据资产管理平台+数据服务平台
导读:数据中台需要采集数据作为原材料进行数据加工.数据建模,然后分门别类地储存,再根据实际的业 务场景,打造各类数据服务(含数据应用平台)从而实现对业务的赋能加速. 目录 1.数据中台的功能架构概览 ...
- 数据堂CEO齐红威应邀出席“数据要素市场制度体系建设”专家研讨会
为深入贯彻落实党中央.国务院决策部署,加快建立数据要素基础性制度,培育数据要素市场,11月1日,受国家发展和改革委员会创新和高技术发展司委托,创新驱动发展研究中心(数字经济研究发展中心)与清华大学服务 ...
- 美团数据平台及数仓建设实践，超十万字总结
美团技术团队的博客质量非常高,里面有许多关于大数据的文章,具有很大的参考价值. 美团技术博客地址:https://tech.meituan.com 但是博客功能简陋,没有基本的搜索功能,这对于我们查找 ...
- 大数据24小时：众安推出汽车大数据平台“数据魔方”，国内首个新能源大数据线下创新园区落户青海
[数据猿导读] DeepMind开发新款人工智能产品,可用于诊断眼底疾病:众安保险推出汽车大数据平台"数据魔方":国内首个新能源大数据线下创新园区在青海开园--以下为您奉上更多大数 ...
最新文章
- Scalable IO in Java
- 如何高性能的给UIImageView加个圆角
- linux 块设备驱动 （三）块设备驱动开发
- Linux字体大小颜色,Linux技巧：自定义Gnome面板字体和颜色
- iOS如何随意的穿插跳跃，push来pop去
- 停课不停学，优酷直播如何将网课点名延迟降到0.6s？
- centos 5.8 升级php5.1至5.3
- rabbitmq接口异常函数方法_分布式系统消息中间件——RabbitMQ的使用进阶篇
- go bson转换成json_你会不会用Go语言实现redis的延时消息队列
- OpenGL ES总结（三）OpenGL通过计算纹理坐标来显示一张图片
- Matlab实现熵权法并计算权重和综合评分——附增完整代码和测试用例
- mapgis6.7的放大缩小快捷键
- 本周最新文献速递20210801
- 高中教师计算机水平要求,对中学教师信息技术应用能力的要求论文.doc
- 解决Swing控件setEnabled(false)时的字体颜色
- Swift语法学习--字典
- VS中让console程序不显示（隐藏）命令行窗口
- 进入DFU模式恢复教程 iOS9强制降级iOS8教程
- 欧盟委员会核准ADCETRIS® (brentuximab vedotin)用于治疗既往未曾治疗的全身性间变性大细胞淋巴瘤成人患者
- seaweedfs调研