https://www.toutiao.com/i6654889698344829454

前言

数据成为资产,已经是行业共识,甚至有人建议将数据计入资产 负债表。但如果对比实物资产,对数据资产的管理,还处于非常原始 的阶段。往往一个机构针对其数据资产类别和数量都缺乏全面了解, 数据质量、数据安全、资产评估、资产交换交易等精细管理、价值挖 掘和持续运营则更为薄弱。数据资产管理是现阶段推动大数据与实体经济深度融合、新旧动 能转换、经济转向高质量发展阶段的重要工作内容。


定义与内涵

1. 数据资产管理的概念

  • 数据资产(Data Asset)是指由企业拥有或者控制的,能够为企 业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文 件资料、电子数据等。在企业中,并非所有的数据都构成数据资产, 数据资产是能够为企业产生价值的数据资源。
  • 数据资产管理(DAM,Data Asset Management)是指规划、控制 和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关 数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保 护、交付和提高数据资产的价值。数据资产管理是需要充分融合业务、 技术和管理,来确保数据资产保值增值。

2. 数据资产管理的内涵

数据资产管理在大数据体系中的定位如图所示,它位于应用 和底层平台中间。数据资产管理包括两个重要方面,一是数据资产管 理的核心管理职能,二是确保这些管理职能落地实施的保障措施,包括组织架构、制度体系。

数据资产管理在大数据应用体系中,处于承上启下的重要地位。 对上支持以价值创造为导向的数据应用开发,对下依托大数据平台实 现数据全生命周期的管理。数据资产管理贯穿数据采集、应用和价值实现等整个生命周期全 过程。企业管理数据资产就是通过对数据的生命周期的管理,提高数 据资产质量,促进数据在“内增值,外增效”两方面的价值变现。数据 先被规范性定义、创建或获得,然后存储、维护和使用,最终被销毁。 数据的生命周期开始于数据获取之前,企业先期制定数据规划、定义 数据规范,以期获得实现数据采集、交付、存储和控制所需的技术能 力。数据资产管理一般来说包括统筹规划、管理实施、稽核检查和资 产运营四个主要阶段,详见第三部分数据资产管理的实施要点。

3. 数据资产管理的演变

数据管理的概念是伴随上世纪八十年代数据随机存储技术和数 据库技术的使用,计算机系统中的数据可以方便地存储和访问而提出的。 国际数据管理协会( DAMA, Data Management Association International)在 2009 年发布的数据管理知识体系 DMBOK1.0中定 义为规划、控制和提供数据资产,发挥数据资产的价值。DAMA 数 据管理体系将数据管理划分为 10 个领域,分别是数据治理、数据架 构管理、数据开发、数据操作管理、数据安全管理、参考数据和主数 据管理、数据仓库和商务智能管理、文档和内容管理、元数据管理和 数据质量管理。2015 年,DAMA 在 DBMOK2.0 知识领域将其扩展为 11 个管理职能,分别是数据架构、数据模型与设计、数据存储与操 作、数据安全、数据集成与互操作性、文件和内容、参考数据和主数 据、数据仓库和商务智能(BI,Business Intelligence)、元数据、数据质量等。

在数据资产化背景下,数据资产管理是在数据管理基础上的进一 步发展,可以视作数据管理的升级版。主要区别可以从三方面看:一 是从数据管理变成数据资产管理,在数据资产管理的概念下,强调的 是紧紧围绕着把数据作为一种资产,基于数据资产的价值、成本、收 益开展全生命周期的管理。二是管理职能有所调整,和 2015 年 DAMA 的管理职能相比,数据资产管理延用数据模型、元数据、数据质量、 参考数据和主数据、数据安全等内容,整合数据架构、数据存储与操作等内容,将数据标准管理、数据生命周期管理纳入管理职能,还针 对当下应用场景、平台建设情况,将传统数据管理职能的具体内容进 行了升级,增加了数据资产价值评估、数据资产运营流通两个管理职 能。关于管理职能的描述详见第二章。三是管理要求有所升级,在“数 据资源管理转向数据资产管理”的理念影响下,管理制度和组织架构 也要有相应的变化,需要有更细致的管理制度和更专业的管理队伍来 确保数据资产管理的流程性、严谨性和安全性。此外,业界也经常使用 “数据治理”、“数据管控”等说法。


必要性

数据作为越来越重要的生产要素,将成为比土地、石油、煤矿等 更为核心的生产资源,如何加工利用数据,释放数据价值,实现企业 的数字化转型,是各行业和企业面临的重要课题,然而数据的价值发 挥面临重重困难。企业的数据资源散落在多个业务系统中,企业主和 业务人员无法及时感知到数据的分布与更新情况,也无法进一步开展 对数据加工工作。数据标准不统一,数据孤岛普遍存在导致业务系统 之间的数据无法共享,资源利用率降低,降低了数据的可得性。标准 缺失、数据录入不规范导致数据质量差,垃圾数据增多,数据不可用。 数据安全意识不够、安全防护不足导致了数据泄露事件频发,危害了 企业经营和用户利益。而且数据的价值难以评估,数据服务缺乏合规 性的指导,阻碍了数据在企业内外的流动。数据资产管理主要解决数 据面临的诸多问题,以体系化的方式实现数据的可用、好用,充分释放数据价值,具体来看有六个方面的作用。

1. 全面盘点数据资产

据 IDC 预测,全球数据总量预计 2020 年达到 44 个 ZB,我国数据量将达到 8060 个 EB,占全球数据总量的 18%。2025 年全球大数据规模将增长至 163ZB,相当于 2016 年的 10 倍,数据的规模越来越庞大。随着自然语言处理、图像识别、传感器 等技术的不断发展,数据的种类越来越丰富,一个机构对他掌握的数 据类型,缺乏全局管理视图。因此,数据资产管理的切入点是对数据 家当进行全面盘点,形成数据地图,为业务应用和数据获取夯实基础。

2. 不断提升数据质量

早在 1957 年的时候,计算机刚刚发明 的时候,大家就意识到数据对于计算机决策的影响,提出 Garbage In Garbage Out的警示。2001 年,美国公布《数据质量法案(Data Quality Act)》,提出提升数据质量的指导意见。2016 年,美国发布国家大数 据战略,其中之一就是希望企业通过数据管理来提升数据质量,确保 数据决策的可信性。糟糕的数据质量常常意味着糟糕的业务决策,将 直接导致数据统计分析不准确、监管业务难、高层领导难以决策等问 题。根据数据质量专家 Larry English 的统计,不良的数据质量使企业 额外花费 15%到 25%的成本。数据能够被当作资产,并发挥越来越 大的价值,其前提是数据质量的不断提升。

3. 实现数据互联互通

传统的信息系统建设都是烟囱式的,各个部门各自存储数据,也缺乏数据跨部门共享的管理机制。据统计, 98%的企业都存在数据孤岛问题。造成数据孤岛的原因既包括技术 上的,也包括标准和管理制度上的。在大数据时代,要实现数字化转型,打破数据孤岛、实现数据互联互通不仅对于一个单一机构具有重 要意义,对整个社会也具有深远意义。

4. 提高数据获取效率

一般来说,数据分析人员 80%的精力都 花在了数据准备上。业务人员可能会有突发的数据使用需求,希望快 速地获取真实、完整和规范的数据,但是由于数据孤岛、数据质量不高、缺乏平台和工具等原因,业务人员无法及时有效获取数据。让数 据随时快速有效就绪,缩短数据分析人员和数据科学家的数据准备时 间,就需要在技术平台、数据质量和数据共享等方面采取综合措施。

5. 保障数据安全合规

随着各个机构数据的快速累积,一旦发 生数据安全事件,其危害性将越来越大。数据安全造成的风险主要包 括数据泄露与数据滥用等。根据数据泄露水平指数(Breach Level Index)监测,自 2013 年以来全球数据泄露高达 130 亿条,其中很多 都是由于管理制度不完善造成的。2018 年 3 月,脸书(Facebook)被 曝光,将超过五千万用户信息数据提供给剑桥分析( Cambirdge Analytica)咨询公司用于定向投放广告,这起数据滥用事件在全球引 起轩然大波。所以,保障安全是数据资产管理和价值开发的底线。

6. 数据价值持续释放

目前,数据的价值还没有得到充分释放, 是因为大部分企业还没有建立起一个有效管理和应用数据的模式。数 据资产管理是一个持续和动态的过程,应随着技术、市场、产业的变 化不断迭代,使数据资产能够为数字化转型提供源源不断的动力。从 企业高管到业务人员及技术人员,全员都要以持续释放数据价值为理念来重视数据资源管理工作。管理方面,需要建立一套符合数据驱动 的组织管理制度和流程。技术方面,需要建设现代化数据平台、引入 智能化技术,确保数据资产管理系统平台持续、健康地为数据资产管 理体系服务。国际上提出 DataOps的理念可供借鉴。


变革

随着大数据的迅猛发展,数据资产管理相对传统的数据管理是正在变革的,逐渐呈现一些新特点,可以从数据对象、处理架构、组织职能、管理手段和应用范围五个方面来认识。

1. 数据对象纷繁复杂

数据作为数据资产管理的对象,体现出数据规模海量庞大、数据 格式种类繁杂以及数据来源各式各样等特征。在数据量方面,单一机 构的数据规模由以前的 GB 级上升到 TB 级,甚至 PB 级、EB 级,数 据增速快。在数据格式种类方面,除传统的结构化数据之外,文本数据、图像数据、语音数据、视频数据等半结构化数据或非结构化数据占比越来越大,种类日益丰富。在数据来源方面,数据既包括内部数据,也包括来自第三方的外部数据,既包括传统业务处理采集的业务数据,也包括手机终端、传感器、机器设备、网站网络、日志等技术产生的数据。数据资产呈现数据对象海量、多样、多元化等特点。

2. 处理架构更新换代

处理架构的更新换代体现在两个方面。一方面是底层架构,数据处理的底层架构快速的向分布式系统迁移。以Hadoop、Spark等分布式技术和组件为核心的“计算&存储混搭”的数据处理架构,能够支持批量和实时的数据加载以及灵活的业务需求。另一方面是数据的预处理流程正在从传统的ETL结构向ELT转变。传统的数据集成处理架构是ETL结构,这是构建数据仓库的重要一环,即用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。而大数据背景下的架构体系是ELT结构,其根据上层的应用需求,随时从数据湖中抽取数据建模分析。

3. 组织职能升级变迁

传统的管理制度体系中,数据管理职能主要由IT部门来负责,是IT部门的一项工作,业务部门配合IT部门执行数据管理,提出需求。随着数据分析与业务融合越来越深入,业务部门逐步成为大数据应用的主角,因而数据资产管理在企业中扮演越来越重要的角色。出现了越来越多的企业设置专门的“数据管理”职能部门或首席数据官(CDO,Chief Data Officer)岗位。在这种变迁背景下,数据管理的组织架构也面临革新的需求。

4. 管理手段自动智能

依靠“手工人力”的电子表格数据治理模式即将被“自动智能”的“专业工具”取代,越来越多的数据管理员、业务分析师和数据领导者采用“平台工具”来梳理元数据、主数据,构建模型和管控质量。随着机器学习、深度学习技术的成熟,相关专项解决方案和平台工具系统的技术局限性如效率低、差错率高、扩展性差等将被一一攻破,能够有效地解放人力,提高效率和精度。

5. 应用范围不断扩大

数据的应用范围在不断扩大,由传统的支持管理需要的战略决策分析为主,发展为支撑业务一线业务场景的战术性决策。数据资产的意义价值也从对内强化能力扩展到了对外合作开放上,从而实现数据资产保值到增值的跨越。战略决策分析一般包括管理优化、研判决策、风险合规、业务拓展、管控成本等。由原来的只应用于领导决策场景扩展到部门级业务分析使用。战术性决策包括智能推荐、精准营销、分析报告以及风险防范等。在跨企业的业务合作中,数据不可避免的也会流通到上下游的合作伙伴。从使用对象来看,数据资产的使用者不仅包括企业决策人员,还包括运维用户、业务管理人员、数据分析人员、数据科学家等各种角色。数据应用范围越广,就越需要智能化的数据资产管理技术及完备的管理制度作为支撑,从而实现数据精细化管控和数据价值最大化。


主要内容

数据资产管理框架如图所示,包含8个管理职能和5个保障措施。管理职能是指落实数据资产管理的一系列具体行为,保障措施是为了支持管理职能实现的一些辅助工作。本章主要描述具体的管理职能和保障措施的详细内容。

1. 管理职能

数据资产管理的管理职能包括数据标准管理、数据模型管理、元数据管理、主数据管理、数据质量管理、数据安全管理、数据价值管理以及数据共享管理等8个方面,详细阐述如下。

  • 数据标准管理

数据标准是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。数据标准一般包括三个要素:标准分类、标准信息项(标准内容)和相关公共代码(如国别代码、邮政编码)。数据标准通常可分为基础类数据标准和指标类数据标准。

基础类数据标准一般包括数据维度标准、主数据标准、逻辑数据模型标准、物理数据模型标准、元数据标准、公共代码标准等。指标类数据标准一般分为基础指标标准和计算指标(又称组合指标)标准。基础指标一般不含维度信息,且具有特定业务和经济含义,计算指标通常由两个以上基础指标计算得出。

数据标准管理是指数据标准的制定和实施的一系列活动,关键活动包括:

  1. 理解数据标准化需求;
  2. 构建数据标准体系和规范;
  3. 规划制定数据标准化的实施路线和方案;
  4. 制定数据标准管理办法和实施流程要求;
  5. 建设数据标准管理工具,推动数据标准的执行落地。
  6. 评估数据标准化工作的开展情况数据标准管理的目标是通过统一的数据标准制定和发布,结合制度约束、系统控制等手段,实现企业大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理,为数据资产管理活动提供参考依据。
  • 数据模型管理

数据模型是现实世界数据特征的抽象,用于描述一组数据的概念和定义。数据模型从抽象层次上描述了数据的静态特征、动态行为和约束条件。数据模型所描述的内容有三部分:数据结构、数据操作(其中ER图数据模型中无数据操作)和数据约束,形成数据结构的基本蓝图,也是企业数据资产的战略地图。数据模型按不同的应用层次分成概念数据模型、逻辑数据模型、物理数据模型三种类型。

  1. 概念模型:是一种面向用户、面向客观世界的模型,主要用来描述现实世界的概念化结构,与具体的数据库管理系统(DBMS,Database Management System)无关;
  2. 逻辑模型:是一种以概念模型的框架为基础,根据业务条线、业务事项、业务流程、业务场景的需要,设计的面向业务实现的数据模型。逻辑模型可用于指导在不同的DBMS系统中实现。逻辑数据模型包括网状数据模型、层次数据模型等;
  3. 物理模型:是一种面向计算机物理表示的模型,描述了数据在储存介质上的组织结构。物理模型的设计应基于逻辑模型的成果,以保证实现业务需求。它不但与具体的DBMS有关,而且还与操作系统和硬件有关,同时考虑系统性能的相关要求。

数据模型管理是指在信息系统设计时,参考业务模型,使用标准化用语、单词等数据要素来设计企业数据模型,并在信息系统建设和运行维护过程中,严格按照数据模型管理制度,审核和管理新建数据模型,数据模型的标准化管理和统一管控,有利于指导企业数据整合,提高信息系统数据质量。数据模型管理包括对数据模型的设计、数据模型和数据标准词典的同步、数据模型审核发布、数据模型差异对比、版本管理等。数据模型管理的关键活动包括:

  1. 定义和分析企业数据需求;
  2. 定义标准化的业务用语、单词、域、编码等;
  3. 设计标准化数据模型;
  4. 制定数据模型管理办法和实施流程要求;
  5. 建设数据模型管理工具,统一管控企业数据模型。

数据模型是数据资产管理的基础,一个完整、可扩展、稳定的数据模型对于数据资产管理的成功起着重要的作用。通过数据模型管理可以清楚地表达企业内部各种业务主体之间的数据相关性,使不同部门的业务人员、应用开发人员和系统管理人员获得关于企业内部业务数据的统一完整视图。

  • 元数据管理

元数据(Metadata)是描述数据的数据。元数据按用途不同分为技术元数据、业务元数据和管理元数据。

  1. 技术元数据(Technical Metadata):描述数据系统中技术领域相关概念、关系和规则的数据;包括数据平台内对象和数据结构的定义、源数据到目的数据的映射、数据转换的描述等;
  2. 业务元数据(Business Metadata):描述数据系统中业务领域相关概念、关系和规则的数据;包括业务术语、信息分类、指标、统计口径等;
  3. 管理元数据(Management Metadata):描述数据系统中管理领域相关概念、关系、规则的数据,主要包括人员角色、岗位职责、管理流程等信息。

元数据管理(Meta Data Management)是数据资产管理的重要基础,是为获得高质量的、整合的元数据而进行的规划、实施与控制行为。元数据管理的内容可以从以下六个角度进行概括,即“向前看”:“我”是谁加工出来的;“向后看”:“我”又支持了谁的加工;“看历史”:过去的“我”长什么样子;“看本体”:“我”的定义和格式是什么;“向上看”:“我”的父节点是谁;“向下看”:“我”的子节点是谁。元数据管理的关键活动包括:

  1. 理解企业元数据管理需求;
  2. 开发和维护元数据标准;
  3. 建设元数据管理工具;
  4. 创建、采集、整合元数据;
  5. 管理元数据存储库;
  6. 分发和使用元数据。

元数据分析(血缘分析、影响分析、数据地图等)通过元数据管理活动,可以使企业数据信息的描述和分类实现格式统一,有助于理解数据的真实含义,为数据资源的管理和数据应用奠定了基础。

  • 主数据管理

主数据(Master Data)是是指用来描述企业核心业务实体的数据,是企业核心业务对象、交易业务的执行主体。是在整个价值链上被重复、共享应用于多个业务流程的、跨越各个业务部门、各个系统之间共享的、高价值的基础数据,是各业务应用和各系统之间进行信息交互的基础。从业务角度,主数据是相对“固定”的,变化缓慢。主数据是企业信息系统的神经中枢,是业务运行和决策分析的基础。例如供应商、客户、企业组织机构和员工、产品、渠道、科目COA、BOM等。

主数据管理(MDM,Master Data Management)是一系列规则、应用和技术,用以协调和管理与企业的核心业务实体相关的系统记录数据。主数据管理的关键活动包括:

  1. 理解主数据的整合需求;
  2. 识别主数据的来源;
  3. 定义和维护数据整合架构;
  4. 实施主数据解决方案;
  5. 定义和维护数据匹配规则;
  6. 根据业务规则和数据质量标准对收集到的主数据进行加工清理
  7. 建立主数据创建、变更的流程审批机制
  8. 实现各个关联系统与主数据存储库数据同步
  9. 方便修改、监控、更新关联系统主数据变化主数据管理通过对主数据值进行控制,使得企业可以跨系统的使用一致的和共享的主数据,提供来自权威数据源的协调一致的高质量主数据,降低成本和复杂度,从而支撑跨部门、跨系统数据融合应用。
  • 数据质量管理

数据质量是保证数据应用的基础。衡量数据质量的指标体系有很多,几个典型的指标有:完整性(数据是否缺失)、规范性(数据是否按照要求的规则存储)、一致性(数据的值是否存在信息含义上的冲突)、准确性(数据是否错误)、唯一性(数据是否是重复的)、时效性(数据是否按照时间的要求进行上传)。数据质量是描述数据价值含量的指标,就像铁矿石的质量,矿石的质量高,则炼出来的钢材就会多;反之,矿石的质量低,不但练出来的钢材少了,同时也增加了提炼的成本。

数据质量管理是指运用相关技术来衡量、提高和确保数据质量的规划、实施与控制等一系列活动。数据质量管理工作中的关键活动包括:

  1. 开发和提升数据质量意识;
  2. 定义数据质量需求;
  3. 剖析、分析和评估数据质量;
  4. 定义数据质量测量指标;
  5. 定义数据质量业务规则;
  6. 测试和验证数据质量需求;
  7. 确定与评估数据质量服务水平;
  8. 持续测量和监控数据质量;
  9. 管理数据质量问题;
  10. 分析产生数据质量问题的根本原因
  11. 制定数据质量改善方案
  12. 清洗和纠正数据质量缺陷;
  13. 设计并实施数据质量管理工具;
  14. 监控数据质量管理操作程序和绩效。

通过开展数据质量管理工作,企业可以获得干净、结构清晰的数据,是企业开发大数据产品、提供对外数据服务、发挥大数据价值的必要前提,也是企业开展数据资产管理的重要目标。

  • 数据安全管理

数据安全管理是指对数据设定安全等级,保证其被适当地使用。企业通过数据安全管理,规划、开发和执行安全政策与措施,提供适当的身份以确认、授权、访问与审计等功能。

数据安全管理的关键活动包括:

  1. 理解数据安全需求及监管要求;
  2. 定义业务敏感数据对象
  3. 定义数据安全策略;
  4. 定义数据安全标准
  5. 定义数据安全控制及措施;
  6. 管理用户、密码和用户组成员;
  7. 管理数据访问视图与权限;
  8. 监控用户身份认证和访问行为;
  9. 定义数据安全强度,划分信息等级;
  10. 部署数据安全防控系统或工具;
  11. 审计数据安全。

数据安全管理的目标是建立完善的体系化的安全策略措施,全方位进行安全管控,通过多种手段确保数据资产在“存、管、用”等各个环节中的安全,做到“事前可管、事中可控、事后可查”。

  • 数据价值管理

数据价值管理是对数据内在价值的度量,可以从数据成本和数据应用价值两方面来开展。数据成本一般包括采集获取和存储的费用(人工费用、IT设备等直接费用和间接费用等)和运维费用(业务操作费、技术操作费等)。数据应用价值主要考虑数据资产的分类、使用频次、使用对象、使用效果和共享流通等因素。

当前,对于数据资产评估的研究还处于早期阶段,评估方法手段还不成熟。可能的方法包括市场法、成本法和收益法三种,三种方法的优缺点如下表所示。以收益法为例,将企业数据资产未来可能产生的收益折现为现金流进行计算。对数据资产价值的估算可以帮助企业更准确的掌握信息化投资收益,也是数据交易流通的前提之一。

进行数据价值管理的关键性活动包括:

  1. 确定企业数据集成度水平;
  2. 确定企业数据的应用场景;
  3. 计算数据在不同应用场景下的收益;
  4. 计算企业数据资产的总体价值。
  • 数据共享管理

数据共享管理主要是指开展数据共享和交换,实现数据外部价值的一系列活动。数据共享管理是指数据的所有者通过对数据的建模分析挖掘,把隐藏在海量数据中的符合共享开放层级的信息作为应用商品,以合规安全的形式完成共享交换或开放发布,使得数据具有流通属性,能方便供数据消费者使用。目前来看,拥有海量数据是企业开展数据资产运营的前提条件,在数据流通环境下,数据资产运营流通职能的服务对象包括了数据提供者、数据消费者、数据服务者和数据运营者四类角色。

数据共享管理的关键活动包括:

  1. 定义数据资产运营流通监控指标;
  2. 设计数据资产运营流通管理方案;
  3. 制定数据资产运营流通管理办法和实施流程要求;
  4. 监控数据资产运营指标;
  5. 监督落实数据流通等合规性管理要求;
  6. 分析运营流通指标,评价运营效果并改进。

重视数据资产管理、运营、流通可以为企业带来未来经济利益,同时这也是数据保值增值的重要手段。数据资产运营流通是使数据资产流动和发挥价值的核心,它将推动数据价值创造模式的不断创新,从根本上改变企业管理、社会管理和政府治理的发展趋势。

管理职能之间的关系。在数据资产管理的实践中,各项管理职能所涉及的管理内容之间往往存在着紧密的联系。数据资产管理的数据一般包括元数据、主数据和业务数据。数据模型管理为主数据、元数据和业务数据设计数据模型。数据质量管理按照数据标准的规定稽核各部分数据内容。元数据管理发挥承上启下的作用,承接数据标准管理和数据模型管理的阶段性成果,同时为主数据管理提供有力支撑。数据安全管理贯穿数据全生命周期,为数据资产管理各项管理职能提供了有力支撑。数据标准管理,顾名思义,就是定义数据模型、数据安全和数据质量相关规范,一般以文件形式呈现。

2. 保障措施

数据资产管理是体系化非常强的工作,需要充分考虑企业内部IT系统、数据资源以及业务应用的开展现状,同时也要考虑围绕业务开展所设立的人员和组织机构的情况,在此基础上设计一套有针对性的数据资产管理组织架构、管理流程、管理机制和考核评估办法,通过管理的手段明确“责权利”以保障数据资产管理工作有序开展。数据资产管理的保障措施可以从战略规划、组织架构、制度体系、审计机制和培训宣贯五方面进行展开。

  • 制定战略规划

从管理层、领导层出发,从顶向下全局部署数据资产管理规范从而形成全面的标准规则体系和执行调度流程。战略规划是数据资产管理成为企业战略核心任务应用的重要部分,是数据资产得到一定程度内外部应用的指导蓝图。值得一提的是,越来越多的企业单位在战略规划阶段决议成立专门的数据管理部门,以连通IT部门和业务部门。

  • 完善组织架构

典型的组织架构主要由数据资产管理委员会、数据资产管理中心和各业务部门构成。组织架构划分和角色设定如下图所示:

为了让组织架构中的各个角色相互配合,各司其职,还需要明确他们相应的职责,让工作职责融入到日常的数据资产管理和使用工作中。与上述典型的数据资产管理架构相适应的角色职责如下表。

数据认责是数据资产管理在服务各领域、各环节工作落到实处的 有效手段,通过数据角色职责开展数据认责相关工作。具体认责条例、管理办法及相关制度流程由数据资产管理委员会进行制定。

  • 建立制度体系

为了保障活动实施和组织架构正常运转,需要建立一套覆盖数据引入、使用、开放等整个生产运营过程的数据管理规范,从制度上保障数据资产管理工作有据、可行、可控。

数据资产管理规范包括元数据管理规范、生命周期管理规范、数据质量管理规范以及数据安全管理规范等对应管理职能的具体规范。在此基础上,规范需细化至接口设计、接口开发、模型设计、模型开发、数据开放以及服务封装等内容。规范的标准一般包括基础分类标准、命名规范要求、数据架构划分、存储与数据权限规则、元数据信息完整性要求等。规范和标准在执行的过程中执行监控规定,要求事中检查和事后监控。事中检查指的是在开发和上线时进行控制,包括命名规范,信息完整性,合理性等;事后监控指的是对存储周期,数据安全敏感信息和加密信息,权限赋权常态化检查。如下是一种典型的制度体系架构举例。

  • 设置审计机制

为进一步保障、评估数据资产管理的规范、规划、组织机构、制度体系的执行状况,保障、评估数据资产的安全性、准确性、完整性、规范性、一致性、唯一性和时效性,需有完整的贯穿数据资产管理整个流程的审计机制。审计方式从审计体系规范建设入手,信息技术审计方法和专职人员审计方法并行。审计对象包括数据权限使用制度及其审批流程、日志留存管理办法、数据备份恢复管理机制、监控审计体系规范以及安全操作方案等体系制度规范以及敏感、重要数据。数据资产管理在实施过程中需要保障集中审计的可行性。

  • 开展培训宣贯

培训宣贯是企业实施数据资产管理进程中的重要组成部分,是数据资产管理理论落地实践、流程执行运作的基础,是数据资产管理牵头部门在技术部门和业务部门之间顺利开展工作的重要保障。企业需利用现有资源,合理安排员工参与数据资产管理培训、课程。促进员工有效培训和自我提高,提升人员的职业化水平,强化工作的标准化、规范化。

企业开展数据资产管理的培训教育周期、培训内容和参与方式,包括:行业现有数据资产管理体系课程培训,行业内、外部单位优秀经验沟通与交流,主要参与培训人员部门内二次培训,企业优秀部门、员工经验、案例分享,常规员工培训中添加数据资产管理培训的课程等。

各企业单位需将数据资产管理纳入现有晋升、薪酬、职位资格等体系范畴,建立员工职业发展通道。根据现实工作环境中完成任务的能力,设立数据资产管理相关奖项,对优秀的个人、团队进行奖励,树立行业、员工优秀模范,引导员工树立不断学习,激发员工不断改进工作,提高工作质量和工作效率。

5. 成功要素

  • 明确责权利标,有效推进管理

数据资产管理最重要的成功要素之一就是重视组织管理的作用,将责权利清晰化,逐步建立健全包括管理型人才和技术性人才的适应数据发展的人才结构,减少工作推进阻碍。并注重数据标准化环节以保障信息体系不发生混乱,确保数据规范一致性。数据标准是数据资产管理的基础,是对数据资产进行准确定义的过程。对于一个拥有大量数据资产的企业,或者是要实现数据资产交易的企业而言,构建数据标准是一件必须要做的事情。标准化是解决数据的关联能力,保障信息的交互、流动、系统可访问,提高数据活化能力。保障信息体系不发生混乱,确保数据规范一致性——避免数据混乱、冲突、多样、一数多源。数据资产管理的核心目的是有效综合运营数据以服务企业,让数据成为利润中心的一部分,这离不开管理,更离不开技术。

  • 合理引进技术,提升治理能力

人工智能、物联网、新一代移动通信、智能制造、空天一体化网络、量子计算、机器学习、深度学习、图像处理、自然语言处理、4k高清、知识图谱、类脑计算、区块链、虚拟现实、增强现实等前沿技术正在大数据的推动下蓬勃发展。然而,在实现数据资产管理的过程中,应根据自身实际情况,避免盲从,合理引进创新技术以提高数据挖掘准确性和挖掘效率,节省人力成本。信息时代万物数化,企业拥有数据的规模、活性以及收集、运用数据的能力,决定其核心竞争力。掌控数据,就可以支配市场,意味着巨大的投资回报,数据是企业的核心资产。数据在实现价值的过程中需要充分依托技术,但更离不开结合自身业务与应用,合理规划。大数据和云计算的建立与开放至关重要,可以帮助企业梳理数据内容,高效检索展示,最终给企业带来一定的经济收益和社会效应。但其应用的成功与否还是要取决于企业自身商业模式的建立,以数据融合技术为战略资产的商业模式,可以决定企业未来。

  • 着眼业务应用,释放数据价值

数据资产化进程给各类企业带来重生、颠覆和创新,企业应重点关注、顺势而为,建立起符合自身业务和数据特点的数据资产化体系和能力,数据资产管理人员不能只陷于数据资产管理工作,还应紧密联系业务,只有明确了前端业务需求,才能做到数据资产管理过程中的有的放矢,张弛有度。数据的价值体现在决策精准、敏锐洞察,数据资产管理能够使管理具流程化、规范化,结合业务应用的数据资产管理不仅使数据保值增值,还将会给企业带来更加巨大的经济效益和社会效益。

  • 加强数据合规,注重风险风控

在数据资产管理的过程中,综合考虑困难及挑战,并全面管控风险,要基于行业模型、行业标准等积累完整、准确的内外部数据以保证数据合规性,进而规避风险。数据资产管理是一项持之以恒的工作,不可能一蹴而就,需要一个循序渐进的过程分阶段进行。要做好充分地长期作战准备,就一定要加强数据合规操作,避免安全漏洞,及时风险风控。

  • 持续迭代完善,形成良性闭环

一步到位建立一套完美的数据资产管理体系是很困难的。主要原因是业务需求会随着市场环境不断变化,技术手段也在不断革新,因此数据资产管理体系不是一劳永逸、一蹴而就的,需要建立一个小步迭代的数据资产管理循环模式。在管理制度层面,需要制定有利于业务人员、技术人员积极为数据资产管理体系循环迭代完善献言献策的方法和制度,进而促使数据资产管理体系在实践中日趋成熟;在技术平台方面,要借鉴DevOps的理念,促进开发、技术运营和质量保障部门之间的沟通、协作与整合,确保数据资产管理系统平台持续、健康地为数据资产管理体系服务。

航司企业级大数据规划(方法论) - 企业级数据资产管理相关推荐

  1. 一文搞懂数据治理方法论

    1.什么是数据治理 数据治理是对数据资产的管理行使权力和控制的活劢集合(规划.监控和执行).数据治理职能指导其他数据管理职能如何执行. 2.开展数据治理的背景和价值 2.1 背景 –企业数据仓库/BI ...

  2. 阿里专家分享:企业级大数据轻量云实践

    本文根据井诚老师于第九届中国数据库技术大会(DTCC 2018)的现场演讲<把大象装进冰箱 企业级大数据轻量云的实践>内容整理而成. 讲师介绍: 井诚,阿里巴巴技术专家,2004年毕业于哈 ...

  3. 手把手演示如何规划一个企业级数据中台

    木东居士 非著名数据从业者 "什么是数据中台?" 这个问题在2020年初还有很多小伙伴经常在群里询问,然而还没到21年,就传出来了阿里要去中台化的消息,颇有一种刚上车,车就要坏了的 ...

  4. 企业级大数据项目建设之数据仓库搭建与数据治理概况版

    本文分为数据仓库建设和数据治理,篇幅比较长,耐心看完. 数据模型 不管是从计算成本,易用性,复用性,还是一致性等方面,我们都必须避免烟囱式的开发模式,而是以中间层的方式去建设实时数仓,烟囱式架构有很大 ...

  5. 【大数据】企业级大数据技术体系概述

    目录 产生背景 常见应用场景 企业级大数据技术框架 数据收集层 数据存储层 资源管理与服务协调层 计算引擎层 数据分析层 数据可视层 企业级大数据技术实现方案 Google 大数据技术栈 Hadoop ...

  6. 新一代企业级大数据应用方案

    摘要:本文的整理自2017云栖大会-成都峰会上阿里云资深专家张辉的分享讲义,讲义主要由大数据时代大数据方案的三个思考引出大数据时代企业数据应用架构:由数据模型层到计算模型层到接口层.随后介绍了OLT- ...

  7. 企业级大数据平台应用场景介绍

    从业务的角度看,企业级大数据平台功能可细分为查询检索.数据挖掘.统计分析.深度分析,其中深度分析分为机器学习和神经网络. 从技术的角度看,企业级大数据平台功能细分为Batch.SQL.流式处理.mac ...

  8. 易观CTO郭炜:如何构建企业级大数据Ad-hoc查询引擎

    凭借多年大数据平台建设经验,易观 CTO郭炜为大家分享了易观在大数据实时查询引擎建设过程所获经验与挑战,以及大数据人员如何快速建立自己的大数据查询引擎套件,让自己的数据人员不再是"表哥表妹& ...

  9. 手把手演示:如何规划一个企业级数据中台

    开局一张图 最近有好朋友找到古牧君,说所在的公司要上数据中台项目了,有没有空闲聊一下.出谋划策.这种只耍嘴皮子不用干活儿.还能了解一线实际业务需求的好事儿,古牧君自然是不会放过啦-于是乎,一场有条不紊 ...

最新文章

  1. 开源网站Open-Open
  2. 【远程操控】Pycharm配置远程连接服务器
  3. Boost:形成const&到_1的测试程序
  4. 搭建mysql集群,使用Percona XtraDB Cluster搭建
  5. oracle 朱志辉_DB2设计、管理与性能优化艺术
  6. 华为P50真机谍照曝光:璀璨粉色机身 牢牢锁定女性用户
  7. ILSpy 5.0 发布,.NET 反编译工具
  8. vb 开机到现在的时间
  9. 传京东副总裁蒉莺春或将接管POP业务-搜狐IT
  10. Java动态so库修改,Adnroid so文件动态调试技巧
  11. 关于Python绘制正态分布图(概率密度分布)以及遇到的问题(label无法显示)
  12. 【Linux】内核驱动篇九--设备模型
  13. 出战LOL,攻击类常见装备有什么?
  14. 自动化测试——多窗口切换和切换frame
  15. ubuntu smba常用设置
  16. XSS是什么?如何防御?手摸手教你Springboot配置XSS防御,深入代码解析!
  17. selenium使用PhantomJS浏览器报错module ‘selenium.webdriver‘ has no attribute ‘PhantomJS‘
  18. linux下latex中文字体,Ubuntu下LaTex中文环境配置
  19. flutter 中使用 WebView加载H5页面异常net:ERR_CLEARTEXT_NOT_PERMITTED
  20. 黑马程序员------毕老师视频笔记第十二天------多线程(3)

热门文章

  1. Cognex VisionPro中CogGraphicLabelAlignmentConstants枚举的含义
  2. 小乌龟Tortoisegit官方汉化包 中文语言安装
  3. DSPACE解决小车不按指定道路行驶问题
  4. 迁移学习(Transfer Learning)概述及代码实现(full version)
  5. 思维导图学习---计算机相关基础思维导图(1)
  6. 在蝰蛇峡谷上实现YOLOv5模型的OpenVINO异步推理程序
  7. 旋转目标检测:Exploring Complementary Strengths of Ivariant and Equivariant Representations for FSL(CVPR21)
  8. 董嘉文:失去的岁月如何找寻?抵达之谜揭露少年的迷茫
  9. 飞凌嵌入式RK3399-C开发板常见问题及解决方案分享
  10. 【T-SQL】〇、 T-SQL语法说明