大数据质量的基本概念

数据是表示事物各种属性的基本元素,通常情况下,只要符合数据应用的需要,就可以将它视为合格数据,即数据质量合格。结合质量的定义分析可知,数据质量就是“一组固有特征满足表示事物属性的程度”或“每个元素对于某种应用场景的适合度”。数据质量不但依赖于数据本身的特征,还依赖于使用数据时所处的业务环境,包含数据业务流程和业务用户。
        从本质上说,大数据与传统数据质量定义方面差异不大,仅是对事物属性特征表示方式的差异,从这个意义上讲,传统的数据质量概念仍然适合大数据质量的概念。

大数据质量的维度

高质量数据必须要合乎需求的数据,可以根据数据是否合乎需求来定义数据质量的高低,数据质量可以用多种度量维度来衡量,每种度量维度衡量了数据某个或某类特征满足质量目标的程度。
        结合当前大数据质量度量维度,将大数据的度量维度分为四大类:

  • 大数据固有质量的度量维度
维度名称 维度描述
可信性 数据真实和可信的程度
客观性 数据无偏差、无偏见、公正中立的程度
可靠性 数据从其来源和内容角度对其信赖的程度
价值密度 大数据的价值可用性
多样性 大数据类型的多样性
  • 大数据环境质量的度量维度
维度名称 维度描述
适量性 数据在数量上对于当前应用满足的程度
完整性 数据内容是否缺失、以及当前广度和深度应用的满足程度
相关性 数据对于当前应用来说适用和有帮助的程度
增值性 数据对当前应用是否有益,以及通过数据使用提升优势的程度
及时性 数据满足当前应用对数据时效性的要求程度
易操作性 数据在多种应用中便于使用和操作处理的程度
广泛性 大数据来源的广泛程度
  • 大数据表达质量的度量维度
维度名称 维度描述
可解释性 数据在表示它的语言、符号和单位,以及定义清晰的程度
简明性 数据严谨、简明、扼要表达事物特征的程度
一致性 数据在信息系统中按照相同一致方式存储的程度
易懂性 使用者能够准确地理解数据所表示的含义,避免产生歧义的程度
  • 大数据可访问性质量的度量维度
维度名称 维度描述
可访问性 数据可用且使用者能方便、快捷地获取数据的程度
安全性 对数据的访问存取有严格的限制,达到相应安全等级的程度

数据治理-数据质量-数据质量的概念和维度相关推荐

  1. 终于有人把数据治理的元数据、主数据等概念讲明白了

    DAMA国际数据管理协会对数据治理定义:数据治理是对数据资产的管理活动行使权力和控制的活动集合(规划.监控和执行). 数据治理涵盖了从前端业务系统.后端业务数据库再到业务终端的数据分析,从源头到终端再 ...

  2. 数据治理:数据治理之道-数据文化-数据思维融入企业文化

    参考<一本书讲透数据治理>.<数据治理>等 大数据的根本价值在于从数据的不确定性中发现规律,获得确定性.想要在繁杂的大数据中快速找到价值数据,并依靠数据发现.分析.解决.跟踪问 ...

  3. dgi数据治理_银行数据治理方法浅析

    数据是银行最核心的资产,数据治理能成就银行的未来.数据治理是一个新兴的并且不断演进的概念,涉及数据质量.数据管理.数据政策.商业过程管理.风险管理等多个领域,同时也受技术革新等因素的影响.在数据治理体 ...

  4. 数据治理服务及数据治理应用解决方案

    本资料来源公开网络,仅供个人学习,请勿商用,如有侵权请联系删除. 一.数据治理概述 (一) 数据治理概念 数据治理是指将数据作为组织资产围绕数据全生命周期而展开的相关管控活动.绩效和风险管理工作的集合 ...

  5. 数据治理:认识数据治理

    参考<一本书讲透数据治理>.<数据治理>等 数据治理是什么 笔者自我理解就是:对数据进行任何规整处理,包括从数据从业务系统接入到最后被业务系统查询应用的这其中整个过程,都是数据 ...

  6. 如何理解元数据、数据元、元模型、数据字典、数据模型这五个的关系?如何进行数据治理呢?数据治理该从哪方面入手呢?

    如何理解元数据.数据元.元模型.数据字典.数据模型这五个的关系?如何进行数据治理呢?数据治理该从哪方面入手呢? 导读 一.数据元 二.元数据 三.数据模型 四.数据字典 五.元模型 导读 请问元数据. ...

  7. 数据治理和基于数据的(国家/社会)治理

    数据治理是一个国际公认的概念,对应的英文是data governance.它的核心内容是利用政策.人员.技术手段,基于主数据管理.元数据管理等,对数据的质量.生命周期.安全/隐私/共享.合规性等进行管 ...

  8. 数据治理:企业数据治理蓝图

    参考<一本书讲透数据治理>.<数据治理>等 文章目录 企业数据治理体系 企业数据治理9个要素 企业数据治理4个层面 企业数据治理之道 企业数据治理之法 企业数据治理之术 企业数 ...

  9. DAMA数据治理学习笔记-数据治理

    数据治理 定义 对数据资产管理行使权力.控制和共享决策(规划.监测和执行)的系列活动. 目标 提升企业数据资产管理能力 定义.规划.批准.执行数据管理的原则.政策.程序.指标.工具.责任. 监控和指导 ...

  10. 谈谈数字化转型中数据治理框架及数据战略规划的关键要素

    当前,数据作为新的生产要素提到了关键位置,众多组织认为数据是重要的战略资产.可是,如何发挥数据要素的生产力,数据资产又如何为企业创造价值,确有些无从下手.那么,这就是数据战略要解决的问题.企业怎么看待 ...

最新文章

  1. linux系统安装nginx步骤,虚拟机(linux)下安装nginx的步骤教程
  2. Lotus Domino单用户多账号多邮件地址配置
  3. 学习方法之01高效学习方程式,你的学习到底是哪里出了问题
  4. UDK编辑器 49条小提示(转)
  5. android 退出应用,如何停止服务,Android 完全退出当前应用程序的四种方法
  6. 解题报告 『[Poetize6]IncDec Sequence(差分)』
  7. centos7重启后/etc/resolv.conf 被还原解决办法
  8. 双人五子棋(C++游戏)游戏代码在最底下
  9. AVD安卓模拟器黑屏
  10. clear:both 的作用
  11. URLDecoder.decode与URLEncoder.encode
  12. RabbitMQ入门到掌握
  13. 投资理财之基金三:债券基金
  14. Idea基本操作攻略
  15. 对于环形组网次优和来回路径不一致的解决方法
  16. WIN7睡眠蓝屏0X0000009F
  17. 情人节程序员用HTML网页表白【烟花代码】 HTML5七夕情人节表白网页源码 HTML+CSS+JavaScript
  18. Win10系统安装MySQL5.5.62 解压版
  19. APM飞控电机输出逻辑(xyz->具体电机)
  20. 【WIN 02】Download Tabby for Win10

热门文章

  1. 博客搬家至 utensil.github.io
  2. 使用Advanced Installer为LabVIEW应用(exe)制作升级更新程序(updater)
  3. Mac上如何降级系统?Mac系统降级图文教程
  4. 项目开发 | 转载 | 需求评审与技术评审
  5. bind的原理和bind的实现
  6. 【综合实训】图书管理系统——需求规格说明书
  7. 手把手带你快速入门Electron
  8. MSVC编译器-C2001 常量中有换行符错误解决方法
  9. ico图标和制作网站(比特虫)
  10. java 根据点画不规则封闭图形