8.5 数据治理

8.5.1 数据治理的6个目标

从根本上说,数据治理的目标是保障数据资产的质量,促进数据资产的价值创造。这个根本目标可以分解成以下6项:

  1. ·提升数据质量,帮助做出基于数据的更高效、更准确的决策;
  2. ·构建统一的、可执行的数据标准
  3. ·良好地响应数据生产者、消费者、数据处理技术人员等数据利益相关者的需求,如保护好客户(数据生产者)的数据隐私和数据安全
  4. ·培训组织内所有的管理层和员工,让大家采用共同的解决数据问题的办法;
  5. ·实现可重复的数据管理流程,并确保流程透明
  6. ·实现数据的可持续运营、数据资产的增值。

可以使用8.5.3节阐述的DCMM数据管理能力成熟度评估模型,对数据治理的目标达成程度进行科学评估,找出差距,制订持续可行的推进方案,逐步达成目标。

8.5.2 数据治理的6个原则

数据治理的原则可以总结为以下6条。

  1. ·标准化原则:数据标准化是实现高价值数据、支撑以数据为基础的相关业务的先决条件。组织必须制定可参考、可落地的标准。当发生争议的时候,有权威的标准可仲裁参考。
  2. ·透明原则:除了一些需要保密的安全措施之外,数据治理相关的文件、数据问题的发现等,都应该是公开透明的,相关人员应该清楚正在发生的事情,以及事情发生后应如何按照原则处理。
  3. ·数据的认责与问责:数据治理必须解决无人问责的问题,比如将很多岗位列为负责人,最终却没有人真正负责。数据的认责是数据治理的先决条件,数据的问责和考核制度是确保数据治理工作真正落地的制度保障。
  4. ·平衡原则:在大数据时代,时时刻刻都在涌现海量数据。在进行数据治理工作的过程中,必须在代价和收益之间取得平衡。往往没有必要追求百分之百的数据质量,而对于历史遗留数据,数据标准也不可能对其进行完全约束。很多时候,对于企业来说,数据可商用是平衡原则的重要参考。
  5. ·变更原则:随着市场和业务的不断发展,数据标准、元数据、数据质量等要求并不是一成不变的,既要控制数据的变更流程,也要主动适应这些变化,推动标准更新。
  6. ·持续改进原则:业务在不断变化,数据在持续产生,数据治理非朝夕之功,需要持续推动,不断改进,形成长效机制。

8.6 数据资产管理与数据治理的关系

数据资产管理就是传统的数据治理的升级版,可以认为是数据治理2.0

8.7 数据资产管理职能

《数据资产管理实践白皮书4.0》中规定,数据资产管理的管理职能包括数据标准管理、数据模型管理、元数据管理、主数据管理、数据质量管理、数据安全管理、数据价值管理和数据共享管理共8个方面。

8.7.1 数据标准管理

1.数据标准概念

数据标准是对数据的表达、格式及定义的一致约定,包含数据业务属性、技术属性和管理属性的统一定义;数据标准的目的是使组织内外部使用和交换的数据是一致的、准确的。

举例来说,对于一个企业来说,营销、财务、总经理办公室等不同的部门可能都会产出“利润率”这个指标,所以需要统一“利润率”这个指标标准,如果确实有多个不同口径的“利润率”需要同时存在,则必须用不同的限定词把它们区分开,如销售利润率、成本利润率、产值利润率、资本金利润率、人均利润率等。对于每一种指标,都必须明确阐述其唯一的业务含义,明确其计算公式、数据来源、限定范围(如时间范围、业务范围),并确保这种指标标准是可供业务部门和技术部门参考,有专人维护的。

2.如何制定数据标准

 3.数据标准分类

按照DCMM的分类,数据标准可分为以下几类:

  • ·业务术语标准
  • ·参考数据和主数据标准
  • ·数据元标准
  • ·指标数据标准

业务术语是被批准、管理的业务概念定义的描述,需要通过流程来定义组织如何创建、审批、修改和发布统一的业务术语,进而推动数据的共享和在组织内部的应用,如银行的业务术语贷款展期、收息、兑付等。

参考数据是用于将其他数据进行分类或目录整编的数据,可以简单理解为是数据字典,是数据可能的取值范围,比如我国的省份,它总是在一个固定的可选范围之内,又如性别的分类和取值范围、货币币种的分类和取值范围。主数据是组织中需要跨系统、跨部门共享的核心业务实体数据。主数据因为其重要价值,被喻为企业的黄金数据记录,如多个系统共享的客户、商品等核心业务实体数据。

数据元是用一组属性描述其定义、标识、表示和允许值的数据单元,是描述数据的最基本单元。数据元由3部分组成:对象类、特性、表示值域和数据类型的组合。数据元是一个相对抽象的概念,感兴趣的读者可以寻找相关的资料深入学习,如参考DCMM里数据元的相关内容。

指标数据是组织在经营分析过程中衡量某一个目标或事物的数据,一般由指标名称、指标解释、时间限定、其他条件限定、指标数值等组成,如企业的人均利润率、季度离职率等。

4.数据标准化的难题

  • 一是制定的数据标准本身有问题。 有些标准一味地追求先进,向行业领先者看齐,标准大而全,脱离实际的数据情况,导致很难落地。
  • 二是在标准化推进过程中出了问题。

主要有以下几种情况:

  • ·对建设数据标准的目的不明确。某些组织建设数据标准,其目的不是为了统一组织内部的数据口径,指导信息系统建设,提高数据质量,更可信地处理和交换数据,而是应付上级和监管机构的检查,因此他们需要的只是一堆标准文件和制度文件,根本就没有执行的计划。
  • ·过分依赖咨询公司。一些组织没有建设数据标准的能力,因此请咨询公司来帮忙规划和执行。一旦咨询公司撤离,组织依然缺乏将这些标准落地的能力和条件。
  • ·对数据标准化的难度估计不足。很多公司上来就说要做数据标准,却不知道数据标准的范围很大,很难以一个项目的方式都做完,而是一个持续推进的长期过程,结果是客户越做标准化,遇到的阻力越大,困难就更多,最后自己都没有信心了,转而把前期梳理的一堆成果束之高阁。这是最容易出现的问题。
  • ·缺乏落地的制度和流程规划。数据标准的落地,需要多个系统、部门的配合才能完成。如果只梳理出数据标准,但是没有规划具体的落地方案,缺乏技术、业务部门、系统开发商的支持,尤其是缺乏领导层的支持,是无论如何也不可能落地的。
  • ·组织管理水平不足。数据标准落地的长期性、复杂性、系统性的特点,决定了推动落地的组织机构的管理能力必须保持在很高的水平线上,且架构必须持续稳定,才能有序地不断推进。

以上这些原因,导致数据标准化工作很难开展,更难取得较好的成效。数据标准化难落地,是数据资产管理面临的现状,不容回避。

5.如何应对这些难题

要解决数据标准化的难题,需要从以下几个方面入手:

第一,制定可落地的执行方案。 执行方案要侧重于可落地性,不能落地的方案最终只能被废弃。一个可落地的方案要有组织架构和人员分工,每个人负责什么,如何考核,怎么监管,都必须纳入执行方案中。

第二,正确认识数据标准建设的目, 即是统一组织内的数据口径,指导信息系统建设,提高数据质量,更可信地处理和交换数据,而不是应付上级和监管机构的检查。这样可以避免数据标准制定出来,应付完监测后就被束之高阁的情况发生。后者显然只是一个短期的临时策略,难以产生长期的正面影响。

第三,正确认识咨询公司在数据资产管理工作前期的作用。 咨询公司的定位应该是准确评估组织的数据管理水平,制订可以落地的方案,而不应一味地追求咨询输出物的技术含量。尽量聘请行业经验丰富、可靠的咨询公司帮助做数据资产管理前期的咨询工作。

第四,充分认识到数据标准化的难度。 要取得管理决策层的支持,提升组织管理水平,做好长期推进的工作准备,建立起数据标准化的工作制度和流程,遇到问题通过正式的流程和沟通机制逐步解决。

第五,实际落地中,建立起科学可行的数据标准落地形式。 在实践中,往往需要考虑如何把数据标准落地到已有的系统和大数据平台中。

数据标准的落地通常有如下3种形式。

  • ·源系统改造:对源系统的改造是数据标准落地最直接的方式,有助于控制未来数据的质量,但工作量与难度都较高,现实中往往不会选择这种方式。例如,“客户编号”这个字段涉及多个系统,范围广,重要程度高,影响大,一旦修改该字段,相关的系统都需要修改。但是也不是完全不可行,可以借系统改造、重新上线的机会,对相关源系统的部分数据进行对标落地。
  • ·数据中心落地:根据数据标准要求建设数据中心(数据仓库或者数据中台),源系统数据与数据中心做好映射,保证传输到数据中心的数据为标准化后的数据。这种方式的可行性较高,是绝大多数组织的选择。
  • ·数据接口标准化:对已有的系统间的数据传输接口进行改造,让数据在系统间进行传输的时候,全部遵循数据标准。这也是一种可行的方法,但应用得并不多。因为对接口的改造是一个相当复杂的工作,会涉及系统底层代码的重构,而且可能给接口调用方带来不可预知的风险

上面讨论了数据标准落地的3种形式。在数据标准落地的过程中,还需要做好如下这几件事。

  • ·事先确定好落地的范围:哪些数据标准需要落地,涉及哪些IT系统,都是需要事先考虑好的。
  • ·事先做好差异分析:现有的数据和数据标准之间,究竟存在哪些差异,这些差异有多大,做好差异性分析。
  • ·事先做好影响性分析:如果这些数据标准落地了,会对哪些相关下游系统产生什么样的影响,这些影响是否可控。元数据管理中的影响性分析可以帮助用户确定影响的范围。
  • ·具体执行落地方案:根据执行方案,进行数据标准落地执行。
  • ·事后评估:事后需要跟踪、评估数据落地的效果如何,哪些事做对了、做好了,可以借鉴和推广,哪些地方做得不足,如何改进。

8.7.2 数据模型管理

数据模型管理主要是为了解决架构设计和数据开发的不一致,而对数据开发中的表名、字段名等规范性进行约束。数据模型管理一般与数据标准相结合,通过模型管理维护各级模型的映射关系,通过关联数据标准来保证最终数据开发的规范性。理想的数据模型应该具有非冗余、稳定、一致和易用等特征。

《数据资产管理实践白皮书4.0》中对数据模型管理内容方面的论述和介绍如下:

数据模型按不同的应用层次分成概念数据模型、逻辑数据模型、物理数据模型3种。

  • 概念模型是一种面向用户、面向客观世界的模型,主要用来描述世界的概念化结构,与具体的数据库管理系统无关。
  • 逻辑模型是一种以概念模型的框架为基础,根据业务条线、业务事项、业务流程、业务场景的需要,设计的面向业务实现的数据模型。逻辑模型可用于指导在不同的数据库管理系统中实现。逻辑数据模型包括网状数据模型、层次数据模型等。
  • 物理模型是一种面向计算机物理表示的模型,描述了数据在存储介质上的组织结构。物理模型的设计应基于逻辑模型的成果,以保证实现业务需求。它不但与具体的数据库管理系统有关,而且还与操作系统和硬件有关,同时考虑系统性能的相关要求。

数据模型管理是指在信息系统设计时,参考业务模型,使用标准化用语、单词等数据要素来设计企业数据模型,并在信息系统建设和运行维护的过程中,严格按照数据模型管理制度,审核和管理新建数据模型,数据模型的标准化管理和统一管控,有利于指导企业数据整合,提高信息系统数据质量。数据模型管理包括对数据模型的设计、数据模型和数据标准词典的同步、数据模型审核发布、数据模型差异对比、版本管理等。数据模型管理的关键活动包括:

  • ·定义和分析企业数据需求;
  • ·定义标准化的业务用语、单词、域、编码等;
  • ·设计标准化数据模型,遵循数据设计规范;
  • ·制定数据模型管理办法和实施流程要求;
  • ·建设数据模型管理工具,统一管控企业数据模型。

数据模型是数据资产管理的基础,一个完整、可扩展、稳定的数据模型对于数据资产管理的成功起着重要的作用。通过数据模型管理可以清楚地表达企业内部各种业务主体之间的数据相关性,使不同部门的业务人员、应用开发人员和系统管理人员获得关于企业内部业务数据的统一完整视图。

8.7.3 元数据管理

业内通常把元数据分为以下类型。

  • ·技术元数据:库表结构、字段约束、数据模型、ETL程序、SQL程序等。
  • ·业务元数据:业务指标、业务代码、业务术语等。
  • ·管理元数据:数据所有者、数据质量定责、数据安全等级等。

4.元数据的应用,那么有了元数据以后,能做什么呢?

1)元数据浏览和检索

通过提供直观的可视化界面,让用户可以按不同类型对元数据进行浏览和检索。通过合理的权限分配,元数据浏览和检索可以大大提升信息在组织内的共享。

(2)数据血缘和影响性分析

数据血缘和影响性分析主要解决“数据之间有什么关系”的问题。因其重要价值,有的厂商会从元数据管理中将其单独提取出来,作为一个独立的重要功能。但是考虑到数据血缘和影响性分析其实是来自于元数据信息,所以还是放在元数据管理中来描述。

血缘分析指的是获取到数据的血缘关系,以历史事实的方式记录数据的来源、处理过程等。以某张表的血缘关系为例,其血缘分析展示如图8-5所示。数据血缘分析对于用户具有重要的价值,比如当在数据分析中发现问题数据的时候,可以依赖血缘关系,追根溯源,快速定位到问题数据的来源和加工流程,减少分析的时间和难度。

数据血缘分析的典型应用场景:某业务人员发现“本月客户增长情况”报表数据存在明显不合理的情况,于是向数据部门提出异议,技术人员通过元数据血缘分析发现,“本月客户增长情况”报表受到上游DWD(DataWarehouse Detail,明细数据层)6张不同的数据表的影响。通过这种方式,技术人员可以快速定位到问题的源头,低成本地解决问题。除了血缘分析之外,还有影响性分析,它能分析出数据的下游流向。当系统进行升级改造的时候,如果修改了数据结构、ETL程序等元数据信息,依赖数据的影响性分析,可以快速定位出元数据修改会影响到哪些下游系统,从而减少系统升级改造带来的风险。从上面的描述可以知道:数据影响性分析和血缘分析正好相反,血缘分析指向数据的上游来源,而影响性分析指向数据的下游。

影响性分析的典型应用场景:因业务系统改造升级,某个部门在DATAWAVE_FINANCE这张表中将字段TRADEID的长度由8字节修改为64字节,需要分析本次升级对后续相关系统的影响。对元数据DATAWAVE_FINANCE进行影响性分析,发现对下游ADS(Application Data Store,应用数据层)相关的3个指标都有影响,定位到影响之后,数据部门及时通知下游相关系统的管理人员,修改了下游的相应程序和表结构,避免了问题的发生。由此可见,数据的影响性分析有利于快速锁定元数据变更带来的影响,将可能发生的问题提前消灭在萌芽之中。

(3)数据冷热度分析

冷热度分析主要是对数据表的被使用情况进行统计,如表与ETL程序、表与分析应用、表与其他表的关系情况等,从访问频次和业务需求角度出发,进行数据冷热度分析,用图表展现表的重要性指数。

数据的冷热度分析对于用户有着巨大的价值,其典型应用场景有:如果观察到某些数据资源处于长期闲置,没有被任何用户查看,也没有任何应用去调用它的状态,用户就可以参考数据的冷热度报告,结合人工分析,对冷热度不同的数据做分层存储,以便更好地利用HDFS资源,或者评估是否对失去价值的这部分数据做下线处理,以节省数据存储空间。

8.7.4 主数据管理

主数据管理(Master Data Management,MDM)是一系列规则、应用和技术,用以协调和管理与企业的核心业务实体相关的系统记录数据。主数据管理的主要内容包括如下几项。

  • ·主数据相关标准及规范设计:主数据的标准和规范是主数据建设的核心工作,需要企业抽调专业人员集中精力进行梳理和汇总,建立一套完整的标准体系和代码库,对企业经营活动中所涉及的各类主数据制定统一数据标准和规范,如数据模型标准、数据编码标准、主数据接口标准等。
  • ·主数据建模:对主数据进行数据模型设计,建立主数据架构的物理模型,包括数据属性的定义、数据结构设计、数据管理定义等方面,通过数据发布来创建数据存储实体。
  • ·主数据梳理与集成:根据主数据标准规范,依托于数据集成平台以及主数据质量模块,辅助业务部门将现有的主数据内容重新进行数据编码、数据转换、数据清洗等,形成企业标准的主数据库。
  • ·主数据质量管理:对主数据系统中的数据质量进行统一闭环管理,盖数据质量的定义、监控、问题分析、整改和评估,推动质量问题的解决。围绕数据质量管理,建立考核机制,提升数据资产的业务价值;在数据清洗过程中,进行数据质量的管理,并生成数据质量报告,提供数据质量管理服务。
  • ·建立灵活的主数据共享服务:主数据的特殊性决定了主数据与业务系统需要频繁的数据共享,主数据管理系统需提供灵活的服务接口,保证能够快速实现数据集成且最大程度减少集成成本。
  • ·建立主数据维护流程:协助梳理企业内主数据管理相关流程,明确流程流转方向,以及各环节表单及责任人,并在主数据系统中进行流程配置,逐步实现梳理成果的自动化落地,在主数据系统中实现跨业务部门的流程贯通。

主数据管理通过对主数据值进行控制,使得企业可以跨系统使用一致的和共享的主数据,提供来自权威数据源的协调一致的高质量主数据,降低成本和复杂度,从而支撑跨部门、跨系统数据融合应用。

8.7.5 数据质量管理

.数据质量管理的目标:数据质量管理主要用来解决“数据质量现状如何,谁来改进,如何提高,怎样考核”的问题。在关系型数据库时代,做数据治理最主要的目的是提升数据质量,让报表、分析、应用更加准确。时至今日,虽然数据治理的范围扩大了,开始注重数据的服务和共享,注重数据价值的运营,但是提升数据的质量依然是数据治理最重要的目标之一。

2.数据质量问题产生的根源做数据质量管理,首先要搞清楚数据质量问题产生的原因。原因有很多方面,比如技术、管理、流程等。造成质量问题的原因通常很复杂,比如企业的信息系统一般是由外部的供应商承建的,在建设过程中,这些系统使用当时条件下不同的标准生产和使用数据,甚至没有标准,只有当时的IT人员自己的“标准”。这就导致系统间存在大量的重复数据、脏数据、不同口径的数据。

这些数据质量问题产生的原因,从本质上来说,还是管理不善,技术和流程只是其表象。所以,要解决数据质量问题,也就不能只从技术角度来考虑,奢望通过购买某个工具就能解决,还是要从业务、管理、技术等多方面入手。从多个角度思考问题,整合资源,解决数据质量问题,重要的是建立一套科学可行的数据质量评估标准和管理流程。

3.数据质量评估的标准

当谈到数据质量管理的时候,必须有一个数据质量评估的标准,有了这
个标准,才能知道如何评估数据的质量,才能将数据质量量化,并知道
改进的方向,以及如何评估改进后的效果。
目前业内认可的数据质量标准有如下几类。

  • 1)准确性: 描述数据是否与其对应客观实体的特征一致。举例:用户的住址是否准确;某个字段规定应该是英文字符,在其位置上是否存在乱码。
  • 2)完整性: 描述数据是否存在缺失记录或缺失字段。举例:某个字段不能为null或空字符。
  • 3)一致性: 描述同一实体同一属性的值在不同的系统中是否一致。举例:男女是否在不同的库表中都使用同一种表述。例如在A系统中,男性表述为1,女性表述为0;在B系统中,男性表述为M,女性表述为F。
  • 4)有效性: 描述数据是否满足用户定义的条件或在一定的取值范围内。举例:年龄的值域在0~200之间。另一个枚举的有效性例子是银行的币种代码。
  • 5)唯一性: 描述数据是否存在重复记录。举例:身份证号码不能重复,学号不能重复。
  • 6)及时性: 描述数据的产生和供应是否及时。举例:生产数据必须在凌晨2:00入库到ODS(Operational Data Store,操作数据层)。
  • 7)稳定性: 描述数据的波动是否稳定,是否在其有效范围内。举例:产品质量抽样统计的合格率,不会有超过20%的波动范围。
  • 8)连续性: 描述数据的编号是否连续。举例:有关部门处理环保违法案件,案件的编号必须是连续的。
  • 9)合理性: 描述两个字段之间逻辑关系是否合理。举例:企业注销时间必须晚于注册时间,自然人的死亡时间必须晚于出生时间。

以上数据质量标准只是一些通用的规则,还可以根据客户数据的实际情况和业务要求对其进行扩展,如进行交叉表数据质量校验等。

4.数据质量管理的流程

8.7.6 数据安全管理

《数据资产管理实践白皮书4.0》中对数据安全管理的主要观点和思想如下:
数据安全管理是指对数据设定安全等级,按照相应国家/组织相关法案及监督要求,通过评估数据安全风险、制定数据安全管理制度规范、进行数据安全分级分类,完善数据安全管理相关技术规范,保证数据被合法合规、安全地采集、传输、存储和使用。企业通过数据安全管理,规划、开发和执行安全政策与措施,以保障企业和个人的数据安全。

8.7.9 生命周期管理

8.7.11 数据资产门户

1.数据资产地图

数据资产地图为用户提供多层次、多视角的数据资产图形化呈现形式。数据资产地图让用户用最直观的方式,掌握数据资产的概况,如数据总量、每日数据增量、数据资产质量的整体状况、数据资产的分类情况、数据资产的分布情况、数据资产的冷热度排名、各个业务域及系统之间的数据流动关系等。

2.数据资产目录

数据资产目录通过对数据资产良好地组织,为用户带来直观的体验,可以使用户花较少的时间查找到自己关心的数据资产。
数据资产目录的组织方式灵活多样,常见的有按业务域组织、按数据来源组织、按数据类型组织。
根据用户角色的不同,数据资产目录有多种展现视角,概括来讲,有3类用户角色:数据资产开发者、数据资产管理者和数据资产使用者。

  • ·数据资产开发者关注当前开发的数据资产是否有重复,是否有准确的定义,通过数据资产目录,数据资产开发者可以将自己负责开发的数据资产发布到合适的资产目录下。
  • ·数据资产管理者必须掌握数据资产的全局情况,包括拥有哪些数据资产、数据资产分布在哪里、数据资产的质量情况、数据资产的使用情况等。数据资产管理者通过对数据资产的合理授权,控制数据资产的使用。
  • ·数据资产使用者关心数据是什么、数据在哪里、如何获取到数据。通过数据资产目录和获取到的合理授权,数据资产使用者能快速定位到自己需要的数据资产,掌握数据资产的存在形式是什么(结构化还是半结构化),如何获取到自己想要的数据,评估现有的数据资产能否满足所建应用的需要。

3.数据资产检索

数据资产检索服务为用户提供了一键式的资产检索服务,通过对关键字的匹配,数据资产门户检索出相关的数据资产集,用户可以根据需要找到相关的数据资产,可以查看数据资产的名称、创建者、业务语义、加工过程等详情,帮助自己理解和使用数据。

8.9 数据资产管理的7个成功要素

大部分组织的数据现状都是先污染、后治理,所以,数据资产管理是一个需要经常“翻旧账”的作。而随着数据源源不断地产生,由于业务变化的需要,数据资产管理又是一项需要长期进行的系统工程。数据资产
管理牵涉到的业务部门众多,利益复杂,系统庞杂,通常需要面对各种数据源情况,具有相当大的难度。要保障数据资产管理工作顺利推行,取得成效,需要建立一个强有力的组织,制定清晰可行的数据战略,培养重视数据的企业文化,制定合理的制度和工作流程,建立统一的标准与规范,使用成熟的软件系统,进行科学的现场实施。
(1)强有力的组织架构
强有力的组织架构是数据资产管理取得成功的有力保证。在开展数据资产管理工作之前,对于组织及其责任分工做出规划是非常必要的。数据
资产管理涉及的范围很广,牵涉到不同的业务部门和信息部门,是一件
全局大事。如何成立和成立什么样的组织,应该依据企业本身的发展战
略和目标来确定,但通常来说,这个组织架构需要高层领导牵头,涵盖
业务部门和信息部门。结合企业自身的管理架构,本着专人专事的原
则,完整的数据资产管理组织架构中通常需要有如下角色:领导决策
层、业务部门主管角色、IT部门主管角色、执行项目经理、执行团队
等。在具体的执行岗位上,需要有专人从事专门的工作,如设立数据质
量管理人员、数据标准管理人员、元数据管理人员、数据安全管理人员
等专门的岗位。
提倡由懂业务、懂数据、懂技术的专职人员来承担数据资产管理的核心
工作,在专职人员无法到位的情况下,也可暂时由各部门抽调兼职人员
来组成一个临时组织,但要想让工作顺利推进下去,必须对组织的相关
人员进行充分授权。
(2)清晰的数据战略
数据战略是指导数据资产管理的最高原则。数据资产管理是否与企业发
展战略相吻合也是衡量数据资产管理体系是否成熟、是否成功的重要标
准。企业高层和数据资产管理的牵头部门要在企业发展战略框架下,建
立数据资产管理的战略文化,包括企业高层领导对数据资产管理的重视
程度、所能提供的资源、重大问题的协调能力、未来的目标和发展规划
等一系列措施。
(3)重视数据的企业文化
大数据时代的到来带来了很多跨越式发展的机遇,但如果没有大数据意
识、大数据思维,没有形成大数据文化,那么就很难抓住这种机遇,实
现跨越式发展。所以,要把“大数据”这个科技符号变成“大数据文化”,
即政府的文化、社会的文化、企业的文化和大众的文化。以企业为例,
企业的管理者应该重视数据的战略价值,逐步引导并培养一种“数据即
资产”的价值观,倡导“基于数据做决策,基于数据做创新”的企业行为
规范。当全员认识到有价值的数据是一种宝贵的资产后,它就可以发挥
业务价值,进而流通、交易、合作,最终变现,并将深刻影响企业的业
务模式,甚至重构其文化和组织。
(4)合理的制度与流程
制度与流程是数据资产管理过程中落地认责制度的有效保障。应该由数
据管理人员和协调人员共同制定数据资产管理制度流程。常见的制度包
括但不限于:
·数据需求管理办法
·数据模型管理办法
·数据标准管理办法
·元数据管理办法
·数据质量管理办法
·数据共享管理办法
·数据安全管理办法
·数据生命周期管理办法
(5)标准与规范
制定数据标准是开展数据资产管理的前提和基础。通常情况下,企业进
行数据资产管理都是从梳理和建立数据标准开始的。举例来说,做数据
质量检查时参考的规则通常来自于数据标准,做数据清洗时参考的清洗
规则通常也来自于数据标准。
制定标准,不应一味地追求全面和严苛,而是要参考企业当前数据的实际情况,合理地制定可落地的标准。同时,标准并不是一成不变的,会因为企业的管理要求和业务的变化而变化。标准和规范都要及时更新,以跟上变化形势。
(6)成熟的软件平台
数据资产管理工作要取得成功,离不开成熟的软件平台支撑,如数据质量管理系统、元数据管理系统、数据标准管理系统、数据安全管控平台、数据资产中心等。它们是数据资产管理工作能够顺利开展的技术和工具保障,能够大大降低数据资产管理工作的门槛,提升工作效率,减少人工投入的工作量,更有利于标准化的实施,有利于持续开展数据资产管理工作。建议选用国内外有实力的数据资产管理厂商的成熟软件平
台,保障数据资产管理工作的顺利开展。
(7)科学的项目实施
数据资产管理并不是一次性的项目工作,而是需要长期持续不断地改进。这一点是它与一般项目的不同之处。
在开展数据资产管理项目工作的时候,不仅要考虑到项目管理的范围边界、实施周期、人力成本、质量交付等重要因素,同时也要充分考虑到项目的长期性,在建立起数据战略、组织架构、制度流程、标准规范、软件平台的基础上,仔细考虑如何合理配置资源,让数据资产管理工作不间断地进行。
通常来说,面对复杂多变的信息系统现状和数据现状,数据资产管理工作不宜立即全面铺开,而是需要整体规划,分步实施,突出重点,逐步推广。可以从业务最关心数据、最重要的数据入手,取得一定的成果后,再推广到更大的范围中。

数据资产管理在数据中台中的角色类似于一个大管家,掌控着数据中台中最有价值的那部分资产。而数据资产的管理能力决定了一个企业能否完成数字化转型。

数据中台 第8章 数据资产管理相关推荐

  1. 数据中台 第5章 数据汇聚联通:打破企业数据孤岛

    要构建企业级的数据中台,第一步就是要让企业内部各个业务系统的数据实现互联互通,从物理上打破数据孤岛,这主要通过数据汇聚和交换的能力来实现.在面向具体场景时,可以根据数据类型将汇聚对象分为结构化和非结构 ...

  2. 数据中台 第9章 数据服务体系建设,数据赋能

    一.数据服务平台 9.1.1 定义与定位 数据服务就是把数据变为一种服务能力,通过数据服务让数据参与到业务之中,激活整个数据中台,这也是数据中台的价值所在. 数据服务是对数据进行计算逻辑的封装(过滤查 ...

  3. 数据中台 第7章 数据体系建设:数仓分层设计、数据建模

    数据中台数据体系是在全域原始数据的基础上,进行标准定义及分层建模,数据体系建设最终呈现的结果是一套完整.规范.准确的数据体系,可以方便支撑数据应用. 中台数据体系应具备以下特征: ·覆盖全域数据:数据 ...

  4. 数据中台 第6章 数据开发: 批计算、流计算、在线查询和即席分析

    计算能力根据场景抽象分成四大类:批计算.流计算.在线查询和即席分析. 不同场景配合不同的存储和计算框架来实现,以满足业务的复杂需求, (1)批计算 主要用于批量数据的高延时处理场景,如离线数仓的加工. ...

  5. 详解阿里云数据中台,一篇文章全面了解大数据“网红”

    一直想写一篇关于数据中台正面文章,现在有闲时做些总结,想充分诠释一下DT内部人如何看待数据中台. 数据中台的概念是最早由阿里巴巴首次提出,是为了应对内部众多业务部门千变万化的数据需求和高速时效性的要求 ...

  6. 数据中台(三)数据中台设计与数据资产管理

    企业的发展,往往伴随着业务更多元化,也必然会促进更多的业务数据产生,也为企业实现业务数据化和数据业务化带来了更多的可能性,但现实是很多企业依然采用传统理念去建设大数据平台,导致不单单业务系统是一个个烟 ...

  7. 4万字 全面解读数据中台、数据仓库、数据湖等概念!建议收藏!

    作者丨修鹏李 建议阅读需50分钟 如今,随着诸如互联网以及物联网等技术的不断发展,越来越多的数据被生产出来-据统计,每天大约有超过2.5亿亿字节的各种各样数据产生.这些数据需要被存储起来并且能够被方便 ...

  8. 数据中台 VS 传统大数据平台,这 8 点区别要了解

    作者 | 彭锋 宋文欣 孙浩峰 来源 | 大数据DT 头图 | 下载于视觉中国 传统大数据平台和数据仓库是数据中台的数据来源,建设数据中台是为了更好地服务于业务部门. 下图展示了信息化系统.数据仓库. ...

  9. 数据湖+数据中台,金山云大数据平台竞争力如何?

    随着疫情稳定,出行的解禁,正是拉动老客户消费和挖掘潜客的机会,那么银行在数字化时代的营销业务是如何实现的?首先在业务层面需要与各大电商平台.OTA.出行.O2O.线下餐饮.购物中心达成广泛的权益合作: ...

最新文章

  1. 0.数据结构学习笔记大纲
  2. 深入JDK中的Optional
  3. Node.Js 学习随笔2
  4. 設計模式之王 - MVC
  5. Qt 中事件与处理
  6. linux tomcat 启动权限不足解决办法
  7. python提取高频词_seo与python大数据结合给文本分词并提取高频词
  8. 基于遗传算法的车辆优化调度-matlab代码 考虑供应过剩惩罚、供应不足惩罚成本
  9. 使用python处理视频文件,提取关键帧并保存【已调通】
  10. Wekan 部署文档
  11. Android shape属性大全
  12. 谷歌免费CDN加速Google PageSpeed Service申请和使用教程
  13. 一个最简单的Delphi2010的PNG异形窗口方法
  14. 给你一个长度为 n 的整数数组 nums 和 一个目标值 target。请你从 nums 中选出三个整数,使它们的和与 target 最接近。 /返回这三个数的和。
  15. CVE 2013-2094 exploit 实验笔记
  16. 交换机高级特性简介:MUX VLAN、端口隔离功能、端口安全功能简单原理与配置
  17. Android Studio代码检查lint使用
  18. 金蝶专业版过账提示运行时错误5_金蝶专业版过账提示运行时错误5_金蝶KIS专业版常见故障及解决办法...
  19. DicomVCL for D6-D2010-Crack
  20. 如何用60万轻松搞定在北京的住房问题攻略

热门文章

  1. c程序设计与算法语言,C语言:程序设计与算法
  2. 高校圆桌派-第二期直播预告
  3. 微信 iPad 835协议
  4. 深信服校园招聘c/c++软件开发A卷
  5. 升级鸿蒙系统手机网络信号变差了,这是为什么?
  6. 体感互动LED显示屏系统|体感互动屏幕|体感互动大屏软件
  7. mysql数据库误删后能恢复吗_MySQL 数据库误删除后的数据恢复
  8. 加载Glove预训练词向量到字典
  9. SQL查询,子查询作为结果字段
  10. 微信接口返回码对照表