大数据质量管理策略有哪些
一种数据质量策略，从建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续改进的工作机制和完善元数据管理4个方面，多方位优化改进，最终形成一套完善的质量管理体系，为信息系统提供高质量的数据支持。
1、信息系统数据质量
信息由数据构成，数据是信息的基础，数据已经成为一种重要资源。对于企业而言，进行市场情报调研、客户关系维护、财务报表展现、战略决策支持等，都需要信息系统进行数据的搜集、分析、知识发现，为决策者提供充足且准确的情报和资料。对于政府而言，进行社会管理和公共服务，影响面更为宽广和深远，政策和服务能否满足社会需要，是否高效地使用了公共资源，都需要数据提供支持和保障，因而对数据的需求显得更为迫切，对数据质量的要求也更为苛刻。
2、大数据环境下数据质量管理面临的挑战
随着三网融合、移动互联网、云计算、物联网的快速发展，数据的生产者、生产环节都在急速攀升，随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天，越来越多的企业业务和社会活动实现了数字化。
大数据时代下的数据与传统数据呈现出了重大差别，直接影响到数据在流转环节中的各个方面，给数据存储处理分析性能、数据质量保障都带来了很大挑战。由于以上特性，大数据的信息系统更容易产生数据质量问题：
（1）在数据收集方面，大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。
（2）由于规模大，大数据获取、存储、传输和计算过程中可能产生更多错误。采用传统数据的人工错误检测与修复或简单的程序匹配处理，远远处理不了大数据环境下的数据问题。
（3）由于高速性，数据的大量更新会导致过时数据迅速产生，也更易产生不一致数据。
（4）由于发展迅速，市场庞大，厂商众多，直接产生的数据或者产品产生的数据标准不完善，使得数据有更大的可能产生不一致和冲突。
（5）由于数据生产源头激增，产生的数据来源众多，结构各异，以及系统更新升级加快和应用技术更新换代频繁，使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象，再加上数据收集与集成往往由多个团队协作完成，期间增大了数据处理过程中产生问题数据的概率。
3、数据质量管理策略
为了改进和提高数据质量，必须从产生数据的源头开始抓起，从管理入手，对数据运行的全过程进行监控，密切关注数据质量的发展和变化，深入研究数据质量问题所遵循的客观规律，分析其产生的机理，探索科学有效的控制方法和改进措施;必须强化全面数据质量管理的思想观念，把这一观念渗透到数据生命周期的全过程。
数据质量管理的最终目的不仅仅是为了获得高质量的数据而提高数据质量，而是为了实现依赖于高质量数据的业务成果。
大数据质量管理策略有哪些相关推荐
- 工业时序大数据质量管理
工业时序大数据质量管理 丁小欧,王宏志,于晟健 哈尔滨工业大学海量数据计算研究中心,黑龙江 哈尔滨 150001 摘要:工业大数据已经成为我国制造业转型升级的重要战略资源,工业大数据分析问题正引起重 ...
- 数据治理：数据质量管理策略！
数据质量管理包含正确定义数据标准,并采用正确的技术.投入合理的资源来管理数据质量.数据质量管理策略和技术的应用是一个比较广泛的范畴,它可以作用于数据质量管理的事前.事中.事后三个阶段. 数据质量管理应 ...
- 【风控策略】大数据风控策略逻辑
从现金贷平台方面来看,一是完善大数据体系和风控模型,放款给那些急需用钱的人,需要快速判断用户画像,需要很强的大数据和风控模型来做支撑.二是准确评估用户属性,产品定价回归理性.筛选出相对优质的客户群体, ...
- NLP十大数据扩充策略
做图像的同学都知道图像的数据扩充可以带来巨大的提升,包括: 裁剪.旋转.缩放等等. 那么在NLP中都有哪些数据扩充的策略呢? 这个很简单,就是替换文中的某些词汇,而不改变文本原由的意思.一般的操作是: ...
- 【大数据】大数据企业策略与法则
对企业而言,大数据实质上是一种管理思维,其支点在于业务信息资源与社交媒体的融合,以及内外部数据的融合,在这样的支点上反思企业的组织形态.运作范式和价值创造模式,是"大数据企业"的真 ...
- 【2017年第3期】面向共享的政府大数据质量标准化问题研究
洪学海1,王志强2,杨青海2 1.中国科学院计算技术研究所,北京 100190 2. 中国标准化研究院,北京 100191 摘要:回顾了国内外数据质量研究与实践的进展,重点对ISO 8000数据质量国 ...
- “互联网+工业”下的大数据应用场景分析
工业大数据是一个全新的概念,从字面上理解,工业大数据是指在工业领域信息化应用中所产生的大数据. 随着信息化与工业化的深度融合,信息技术渗透到了工业企业产业链的各个环节,条形码.二维码.RFID.工业传 ...
- 【工业大数据】工业大数据应用场景分析；工业大数据，从何做起
工业大数据也是一个全新的概念,从字面上理解,工业大数据是指在工业领域信息化应用中所产生的大数据.随着信息化与工业化的深度融合,信息技术渗透到了工业企业产业链的各个环节,条形码.二维码.RFID.工业传 ...
- 数据质量问题是大数据应用的关键
越来越多的企业领导者开始意识到大数据对企业的巨大影响,但是,有一个重要的提醒: 如果企业的数据不准确,不完整且一致,则在做出业务决策时可能会导致重大失误.实际上,Gartne估计数据质量不佳对企业的平 ...
最新文章
- 聊聊lettuce的shareNativeConnection参数
- 洛谷 - P1198 - 最大数 - 线段树
- IndexError: list index out of range--Python报错原因及解决办法
- mac上调整phpstorm和webstorm的使用内存(默认是128m-750m) 避免卡顿
- Ingenuous Cubrency UVA - 11137 立方数之和 递推
- precede和previous_描写过去的词语 英语
- Python语法基础实验闯关
- 基于物联网的智能厨房安全监测系统-上位机程序
- 回归云平台的本质，通过平台+应用模式实现软件资源线上共享
- 【云原生网关】Kong 使用详解
- 什么是批标准化 (Batch Normalization)
- RGB和HSV颜色空间
- 内联函数有什么优点？内联函数和宏定义的区别
- react-native-growingio慢下载慢，下载很慢，下载失败
- HDU 1051 Wooden Sticks 造木棍【贪心】
- Python 模拟登陆百度云盘实战教程
- 信息学奥赛一本通（C++版）continue
- 关于苹果开发证书失效的解决方案(2016年2月14日Failed to locate or generate matching signing assets)
- Springboot+vue火车高铁站订票管理系统
- vue引用高德地图实现选择定位，根据经纬度标注功能