京东物流数据质量管理体系
一、数据质量管理模式
京东物流数据质量管理分为两种处理流程。一种是由质量保障部在进行数据系统保证测试时，以产品PRD或功能说明文档为需求导入，进行的一系列事前数据质量管理工作。另外一种，是业务部门数据用户发起，由业务部门和数据平台部共同推进的事后数据质量管理工作。
二、事前数据质量管理工作说明
2.1数据质量需求管理
质量保障部的事前数据质量管理工作通常伴随整个数据项目的开发周期同步进行。以测试数据的及时性、完整性、准确性为主要测试方向。
在数据项目的工作中，通过产品PRD、功能说明文档等说明材料，收集数据质量管控的要求。并根据数据质量需求，编写数据质量测试用例。
2.2数据质量检核
根据功能需求编写数据质量相关测试用例。通过大数据平台BDP中的开发平台IDE进行数据查验和编写自动化测试脚本来针对每一个测试用例进行数据测试，并记录测试结果。
2.3数据质量分析&提升
质量保障部会通过JIRA系统记录数据质量检核过程中测试未通过的数据质量问题，分析问题产生原因，明确数据问题的责任方，并追踪数据问题的处理进度。
同时，质量保障部每周会组织数据质量相关方，进行数据质量周会，进行数据问题的跟进和已解决问题案例的分享。
三、事后数据质量管理工作说明
3.1数据质量需求管理
业务部门内部设置一个数据质量管理的专岗，负责收集部门内在数据使用过程中发现的数据质量问题。在数据质量问题清单中进行问题记录。
数据质量问题需求的流转过程：
3.2数据质量检核&分析
业务部门记录数据使用中发现的数据质量问题后，会逐层进行数据质量根因倒推。首先，会联系业务部门自己的数据应用开发团队，进行数据质量问题产生原因的判断。如果确认数据质量问题是由于数据应用开发团队开发过程所导致的，则直接进行问题修正，然后关闭问题。如果发现问题并非数据应用开发过程导致，则将数据质量问题流转给数据平台部-数据治理组，
数据治理组收到问题后，会针对质量问题先进行一轮研发调研，如果数据平台研发人员能够确认问题为数据平台开发问题，并给出问题原因反馈和解决方案，则将解决方案和排期计划反馈给业务团队中数据质量管理专岗。如果研发人员不能明确问题原因，则数据治理组通过数据探查的方式，明确问题的来源，问题的数据情况和范围等信息，并同步向数据质量管理专岗和问题来源方反馈问题情况。
3.3数据质量问题提升
需求业务部门，数据治理组，问题来源方三方进行问题沟通，明确问题的产生原因，改进计划。需求方与问题方双方评估问题影响和改进难度，共同协商最终解决办法。
京东物流数据质量管理体系相关推荐
- 京东物流基于Doris的亿级数据自助探索应用
导读:京东智慧物流在数据应用方面,主要是基于大数据预测分析技术实现智能化的调度.决策,提升物流效率,最终提升客户的体验.但面对亿级数据的业务场景,将会面临着不同的问题和不同的处理方案.今天讨论了京东物 ...
- 以实助实的京东物流，给实体经济带来了什么？
深燃(shenrancaijing)原创 作者 | 黎明 编辑 | 魏佳 每年双11,因订单激增导致的发货难,是困扰很多商家的一大难题. 山东鲁花集团是一家大型食用油企业,每到销售旺季,订单积压.配送 ...
- 【智能物流】未来3年中国物流大生态趋势，从京东物流的战略说起
(作者:@黄刚 2017.12.22) 未来3年后的中国物流生态是怎的?这个话题值得很多人关注.因为可以大胆的预测,未来3年中国物流大生态会发生巨大的变革,关键因素就是:互联网. 2007-2017, ...
- 京东物流：从巨婴到中流砥柱
配图来自Canva可画 随着快递物流行业的迅猛发展,快递服务已经成为人们生活中不可或缺的组成部分.在大大小小的快递公司中,京东物流可以说是最特殊的一个.京东物流是京东集团的自建物流,也是唯一一家属于电 ...
- 数据质量管理有哪些方法
数据质量管理是数据治理中的重要步骤.这是准备数据以符合质量标准(例如有效性,均匀性,准确性,一致性和完整性)的过程.数据质量管理可从数据集中删除不需要的,重复的和不正确的数据,从而帮助分析师获得更加准 ...
- 工作手册：如何实施数据质量管理（上）
数据质量是数据治理的主要目标之一,也是数据治理效果的重要校验标准.同时,质量管理(QM)有自身的方法论和基本策略,包括业界著名的6西格玛管理.精益管理等,都把质量的管理和提升上升到了"质量工 ...
- 企业数据质量管理制度搭建
导读:无论是任何行业或者何种背景下的企业,在步入信息化数字化阶段后,都会面临数据质量问题.没有一个组织拥有完美的业务流程.完美的技术流程或完美的数据管理实践,所有组织都会遇到与数据质量相关的问题.相比 ...
- 企业数据质量管理制度怎么写？
导读:无论是任何行业或者何种背景下的企业,在步入信息化数字化阶段后,都会面临数据质量问题.没有一个组织拥有完美的业务流程.完美的技术流程或完美的数据管理实践,所有组织都会遇到与数据质量相关的问题. 相 ...
- 数据质量管理的一些思考
背景 在近期的项目当中,我们为客户落地实施了数据资产平台.随后,在数据平台中接入了客户子公司的一个业务系统的明细数据.客户希望在我们的数据平台上通过数据探索和数据分析,来挖掘一些业务价值和业务创新点. ...
最新文章
- 扛住 100 亿次请求？我们来试一试
- 专访香港大学罗平：师从汤晓鸥、王晓刚，最早将深度学习应用于计算机视觉的「先行者」
- 百度ueditor 拖文件或world 里面复制粘贴图片到编辑中 上传到第三方问题
- linux下ipmitool路径,Linux中的ipmitool工具的使用
- SpringIOC、DI、AOP、MVC总结、时序图
- 如何做好性能压测(一)丨压测环境设计和搭建
- python跳转到新页面、如何等待页面加载完_python urllib2 – 在抓取之前等待页面完成加载/重定向？...
- 【javascript高级教程】JavaScript 对象
- Java：这是一份全面 详细的 Synchronized关键字 学习指南
- zb——中国人发起的编程语言之序章
- 即将毕业的大学生，还在盲目跟风学Python吗？某位科大教授有话说
- RabbitMQ环境搭建教程收集（待实践）
- Linux Apache服务详解——用户个人主页实战
- classmethod staticmethod一些领悟
- CodeSmith模板代码生成实战详解
- java ssh 404,SSH框架上的404异常
- 终于知道为啥网页不让我复制粘贴了！
- chm 转化为 html 转化为 txt
- eclipse快速创建无参和有参构造函数：
- ISD9160学习笔记01_大联大Nuvoton ISD9160语音识别开发板初体验