资源系统建设初期数据质量管理
笔者2010年负责一个资源项目，当时给用户做项目时也负责给他们制定一些考核标准，每周考核各个地市的用户录入系统数据的质量（满分3分，1分10万）。这个资源系统管理用户所有的资源设备，把以前按照专业建设的资源系统统筹建立一个成资源系统，方便后期管理维护和业务开通等。该系统涉及的专业多，流程比较复杂。
该系统的基础数据是从其他网管资源系统中汇总导入过来的，涉及到字段对比（本系统字段对应哪个系统哪个字段）必填项是否有，数据是否符合新系统要求，是否符合数据既有逻辑，是否能够满足业务流程需求，数据总量是否匹配。
期间通过视频会议的形式组织多次考核要求说明会、问题答疑会等，落实公布考核成绩，对于在考核时间要求前未达标，但明确改正时间和改正安排的暂缓扣分，下周仍未完成，再进行扣分。
制定考核标准注意事项：
1、制定扣分指标一定是满足系统业务需求的。
2、如果系统变更导致业务需求变更，及早进行调整
3、对系统所需字段进行逐一确认，什么含义、满足什么业务需求、存储在什么系统，有哪个专业人员维护。
资源系统建设阶段的数据管理，其实就是数据质量的管理，数据的真实性、完备性、自治性与系统的可用性岌岌相关，如果数据不准确，那么业务流程跑出来的数据就是垃圾数据。用户就用不了这个系统。做数据管理一定要有长期奋战的觉悟。数据基础存量大，原始数据不完善，关键字段缺失，维护人员层次不齐，维护人员对数据的误解，最终都会影响存量数据的错误。（笔者遇到过县级的维护人员，连电脑开机都不会，甚至不会写字，每次上来录数据，就是各种攀关系，寻求其他人的帮助）。
数据批量导入有人工excel批量导入，或者从其他系统把数据清洗后批量导入。
通过excel导入，一般由客户方专人维护数据表，导入后进行验证，如果有问题，在对数据进行梳理整改。只要表格和系统逻辑清晰准确，随着导入人员对系统和excel数据的了解，系统中的数据会越来越完善。缺点是耗时较长，需要大量人力物力，且难免会出现人为编辑错误。
通过数据清洗导入数据，相对较快，耗费较少，缺点是清洗人员对基础数据不了解，后期维护调整工作量比较大，而且容易造成推诿。客户维护人员认为既然厂家负责清洗导入，那么厂家就需要对数据质量负责。厂家人为他们只是完成从一个数据库到另一个数据库存量数据的传送清洗。系统的基础数据是什么，有多少，他们并不了解，也不负责。
比较好的解决方案是找一家对这些专业比较了解的公司，在本专业做了多年，公司有一定的项目资料，有一些对这些专业比较数据的专家，进行数据清洗，并后期对数据整改。尽量避免负责数据清洗的是一个厂家，负责数据维护的是另外一个厂家，无形中增加了许多协调沟通成本。
数据质量是一个长期奋战的历程，切忌心理浮躁，短期突击，以大跃进形式做数据质量，会导致数据维护人员的工作基本上都去满足一些考核指标，拼命的造一些假数据。
资源系统建设初期数据质量管理相关推荐
- 政府大数据中心数据资源平台建设方案WORD2022
本资料来源公开网络,仅供个人学习,请勿商用,如有侵权请联系删除 1.1 项目建设内容 对于本次区级大数据资源平台的建设,将按照"总体规划一步到位,平台建设分步实施,数据赋能逐步升级" ...
- 14万字数字政府大数据治理平台及大数据中心资源平台建设方案
本资料来源公开网络,仅供个人学习,请勿商用,如有侵权请联系删除. 部分资料内容: 1.1 数据治理子平台建设 在本次项目中,我们将通过大数据治理子平台的建设,提供数据标准管理.元数据管理.数据质量管理 ...
- 100页5万字政府大数据中心数据资源平台建设方案
目录 1 总体建设方案概述 4 1.1 项目建设目标 4 1.2 项目建设内容 5 1.2.1 建设数据交换子平台 6 1.2.2 建设数据治理子平台 6 1.2.3 建设数据资源门户 7 1.2.4 ...
- 政府大数据中心数据资源平台 建设方案
目录 1 总体建设方案概述 1.1 项目建设目标 1.2 项目建设内容 1.2.1 建设数据交换子平台 1.2.2 建设数据治理子平台 1.2.3 建设数据资源门户 1.2.4 建设数据资源中心 1. ...
- 数据中心暖通系统建设交付关键路径分析
数据中心除去IT设备用电外,暖通系统耗电量占比最高,约占建筑总用电量的35%以上,从如何优化暖通系统建设交付的关键路径角度出发进行相关研究,将有利于大型低PUE数据中心快速投产,满足当下的政策要求. ...
- 基于云计算和大数据的图书馆 应用系统建设设计
1 序言 随着世界的发展,人们对计算机性能的要求越来越高.以前人们把重点都放到了提升单台计算机性能上面,但如今单台计算机的性能已经到达了瓶颈,而人们对计算机性能的需求却越来越强烈.近几年,随着新技术的 ...
- 政府大数据中心数据资源平台建设方案2022（word）
本资料来源公开网络,仅供个人学习,请勿商用,如有侵权请联系删除 1.1 总体建设方案 1.1.1 中心总体定位 区级大数据资源平台建设的核心是汇聚全区各类公共数据,建立面向政务顾问.经济发展.城市管理 ...
- 陕西省国家税务局同城数据级灾难备份系统建设采购项目中标公告
采购人名称:陕西省国家税务局 采购人地址 :陕西省西安市二环南路西段39号 项目名称:陕西省国家税务局同城数据级灾难备份系统建设采购项目 项目编号:SXGS-ZFCG-2010009 采购内容:为了给 ...
- 政务服务一网通办云平台及智慧政务大数据资源中心建设方案
对一网通办总体架构的理解 中心总体定位 总体建设目标 总体解决方案6 总体应用流程 平台总体架构 政务大数据治理管理方法论 平台方案概述·一站式数据治理运营平台,支撑全流程数据流转管理 数据治理流程 ...
最新文章
- jenkins pipeline api获取stage的详细信息_Jenkins + Docker 助力 Serverless 应用构建与部署...
- fastdfs windows部署_Go在windows下编译Linux可执行文件
- vsftp socket 报错
- python图像标记工具怎么用_一眼看穿的最佳图像标记工具！
- matlab 排课代码,matlab遗传算法排课问题，程序一直有错，求解答
- 实体和电商哪个更能赚到？
- 如何用 10 句话激怒程序猿？
- Ubuntu18.04安装中文字体SimHei
- Android 签名时 v2 与 v1 的选择
- Input鼠标键盘输入
- 向工程腐化开炮｜动态链接库so治理
- 数字图像处理第五次作业：描述FFT的平移、缩放、旋转的性质。
- 新浪php工程师面试题
- 建立自己的STM32项目库(库函数,Kile)
- McObject新版eXtremeDB v.8.0在E8存储上运行STAC基准测试创造了多个记录
- 基础知识----Symbian UIQ
- 字节跳动精准测试实践，SmartEye背后的设计逻辑
- java判断list相等_java 判断两个list是否相等
- 可选int参数“id”存在，但由于被声明为基元类型，因此无法转换为null值。考虑将其声明为对应的基元类型的对象包装器。
- elasticSearch availableProcessors is already set to [8], rejecting [8]
热门文章
- 模型部署到移动端_Pytorch1.4来了！定制移动端构建、支持分布式模型并行训练等...
- 想学python怎么学习_新手如何自学python课程？
- python读xml文件生成头文件_Python根据指定文件生成XML的方法
- 乌班图好玩的命令_乌班图必须知道的60个命令
- python打印星星居中_python中怎么打印星星
- linux使关机命令失效,解决Linux系统在设置alias命令重启后失效的问题
- python开始print_当你使用print时，Python是怎么运行的
- mysql 备份大表 存储过程_mysql批量备份表的存储过程写法
- html怎么自动设为底部,让底部永远在页面最底部显示的css方法
- js函数嵌套调用，无法获取函数返回值