数据模型

数据模型是数据治理中的重要部分，合适、合理、合规的数据模型，能够有效提高数据的合理分布和使用，它包括概念模型、逻辑数据模型和物理数据模型。

数据模型包含三个部分，数据结构、数据操作、数据约束。

数据结构，主要用来描述数据的类型、内容、性质以及数据间的联系等。
数据操作，主要用来描述在相应的数据结构上的操作类型和操作方式。
数据约束，主要用来描述数据结构内数据间的制约和依存关系，以及数据动态变化的规则，以保证数据的正确、有效和相容。

元数据管理

元数据分为业务元数据、技术元数据和操作元数据，三者之间关系紧密。业务元数据指导技术元数据，技术元数据以业务元数据为参考进行设计，操作元数据为两者的管理提供支撑。

业务元数据，业务元数据是定义和业务相关数据的信息，主要包括：业务指标、业务规则、数据质量规则、专业术语、数据标准、概念数据模型、实体/属性、逻辑数据模型等。
技术元数据，可以分成结构性技术元数据和关联性技术元数据，技术元数据一般以已有的业务元数据作为参考设计的。技术元数据包括：
- 结构性技术元数据，提供了在信息技术的基础架构中对数据的说明，如数据的存放位置、数据的存储类型、数据的血缘关系等。技术元数据的范围主要包括：技术规则（计算/统计/转换/汇总）、数据质量规则技术描述、字段、衍生字段、事实/维度、统计指标、表/视图/文件/接口、报表/多维分析、数据库/视图组/文件组/接口组、源代码/程序、系统、软件、硬件等。
- 关联性技术元数据，描述了数据之间的关联和数据在信息技术环境之中的流转情况。
操作元数据，操作元数据主要指与元数据管理相关的组织、岗位、职责、流程，以及系统日常运行产生的操作数据。操作元数据管理的内容主要包括：与元数据管理相关的组织、岗位、职责、流程、项目、版本，以及系统生产运行中的操作记录，如运行记录、应用程序、运行作业。

数据标准

数据标准包括基础标准和指标标准（或称应用标准）。与数据治理其他核心领域具有一定的交叉，比如元数据标准、数据交换和传输标准、数据质量标准等。一般会包括格式、编码规则、字典值等内容。

数据标准的主要由业务定义、技术定义和管理信息三部分构成。

业务定义，业务定义主要是明确标准所属的业务主题以及标准的业务概念，包括业务使用上的规则以及标准的相关来源等。
管理信息，管理信息是指明确标准的所有者、管理人员、使用部门等内容，从而使数据标准的管理和维护工作有明确的责任主体，以保障数据标准能够持续的进行更新和改进。
技术定义，技术定义是指描述数据类型、数据格式、数据长度以及来源系统等技术属性，从而能够对信息系统的建设和使用提供指导和约束。

数据质量管理

数据质量问题会发生在各个阶段，例如，在需求和设计阶段就需要明确数据质量的规则定义，从而指导数据结构和程序逻辑的设计；在开发和测试阶段则需要对前面提到的规则进行验证，确保相应的规则能够生效；最后在投产后要有相应的检查，从而将数据质量问题尽可能消灭在萌芽状态。

数据质量管理措施，宜采用控制增量、消灭存量的策略，有效控制增量，不断消除存量

数据生命周期管理

从数据的产生、加工、使用乃至消亡都应该有一个科学的管理办法，将极少或者不再使用的数据从系统中剥离出来，并通过核实的存储设备进行保留，不仅能够提高系统的运行效率，更好的服务客户，还能大幅度减少因为数据长期保存带来的储存成本。数据生命周期一般包含在线阶段、归档阶段（有时还会进一步划分为在线归档阶段和离线归档阶段）、销毁阶段三大阶段，管理内容包括建立合理的数据类别，针对不同类别的数据制定各个阶段的保留时间、存储介质、清理规则和方式、注意事项

从上图数据生命周期中各参数间的关系中可以了解到，数据生命周期管理可以使得高价值数据的查询效率大幅提升，而且高价格的存储介质的采购量也可以减少很多；但是随着数据的使用程度的下降，数据被逐渐归档，查询时间也慢慢的变长；最后随着数据的使用频率和价值基本没有了之后，就可以逐渐销毁。

数据分布和存储

通常情况下，综合数据规模、使用频率、使用特性、服务时效等因素，从存储体系角度，可以将数据存储划分为四类存储区域，即交易型数据区、集成型数据区、分析型数据区、历史型数据区。

数据交换

合理的数据交换体系有助于提高数据共享程度和数据流转时效。一般会对系统间数据的交换规则制定一些原则，比如对接口、文件的命名、内容进行明确，规范系统间、与外部机构间的数据交换规则，指导数据交换工作有序进行。建立统一的数据交换系统，一方面可以提高数据共享的时效性，另一方面也可以精确掌握数据的流向。

数据安全

数据存储安全，包括物理安全、系统安全存储数据的安全，主要通过安全硬件的采购来保障数据存储安全。
数据传输安全，包括数据的加密和数据网络安全控制，主要通过专业加密软件厂商进行规范设计和安装。
数据使用安全，需要加强从业务系统层面进行控制，防范非授权访问和下载打印客户数据信息；建立完善的数据安全管理体系，建立数据安全规范制度体系，组建数据安全管理组织机构，建立有效的数据安全审查机制

数据治理-理论-2-基本过程相关推荐

数据治理-理论-1-基本概念
数据治理-理论-基本概念为什么需要数据治理数据治理概念数据治理的目标数据治理体系框架数据治理管理措施数据治理技术措施转载 https://www.sohu.com/a/152614302 ...
【华为云技术分享】解析数据治理在过程可信变革中的运作流程
摘要:本文针对"数据牵引改进,工具固化规范"这一思路在业务团队落地过程中的动作流程进行详细阐述,并明确了支撑整个流程的关键角色定义和组织运作形式. 目的为实现云服务开发的过程可信 ...
数据治理（Data Governance）
数据治理(Data Governance) 简单来讲,数据治理就是要约束输入,规范输出. 根据DAMA(国际数据管理协会)的定义,数据治理(Data Governance)是指对数据资产的管理活动行使 ...
以新型数据治理构筑城市发展新引擎，中国电子和清华大学联合发布《2021中国城市数据治理工程白皮书》
8月20日,中国电子和清华大学联合发布<2021中国城市数据治理工程白皮书>.中国电子党组书记.董事长芮晓武,清华大学党委常委.常务副校长王希勤,全国人大常委.社会建设委员会副主任委员.清 ...
复旦大学教授肖仰华：ChatGPT 浪潮下，面向大模型如何做数据治理？
嘉宾 | 肖仰华编辑 | 伍杏玲出品 | CSDN 由 ChatGPT 引起的大模型热潮正席卷当下.众所周知,大模型的建立离不开海量数据,且大模型的最终效果取决于数据的质量,数据越丰富.质量越高 ...
企业数据治理之主数据管理
本篇文章为亿信华辰<决战数字化转型>系列直播中<企业数据治理之主数据管理>视频直播稿件.如需获取相关资料,可登录亿信华辰官网社区进行直播回看或下载PPT. 主数据大家肯定都不陌 ...
工业数字化转型中的数据治理
随着数据资源的爆炸性增长,企业面临着数据标准不统一.数据信息分散.数据质量参差不齐.开发维护困难等问题,很难满足实时分析和决策的高要求.因此,数据治理对于工业互联网的发展至关重要. 1 数据治理发展现 ...
金融行业大数据治理之路——数据模型篇
本文概要本文以证券期货行业数据模型(Securities Data ObjectModel,简称SDOM)为指导依据,介绍如何通过网易模型设计中心(EasyDesign)进行行业模型的规范性建设.本 ...
工业企业数字化转型中的数据治理
关注ITValue,看企业级最新鲜.最价值报道! 作者:汪洋王柯张桃宁韩蕊彭艳兵汤国强来源:<信息技术与网络安全>2022 年第 4 期随着数据资源的爆炸性增长,企业面临着 ...

数据治理-理论-2-基本过程

数据治理-理论-基本过程