如何进行指标质量治理——指标系统(提质篇)
作者:小见;数据中台产品负责人;UBDC全域大数据峰会“灯塔人物”;擅长埋点模型、指标治理,数仓架构等;
01
指标质量治理概述
指标质量治理主要分为两个部分:提质与增效。
可以简单从字面进行理解,提质就是提升指标质量,主要是针对指标本身而言,保障指标在应用的过程中不会出现歧义、误解,并且指导数仓的规范化建设,而增效则是增加指标的效益,主要是针对指标与企业的关系而言,让指标在企业的业务活动中,能更高效、更准确地反映出企业的内在情况与业务问题,为企业的发展方向提供指导。
本文主要是指标提质为主,指标增效部分择日再续。
02
指标提质的工作主要分为两个阶段
A、面对已存在的、混乱的旧指标现状,进行全业务的指标梳理与重建;
B、约束新指标需求,规范化指标开发流程。
03
指标提质需要达到的目标
A阶段:
1、输出全局指标字典:用于相关使用人员检索、查询、确认;
2、调整指标的呈现:从数仓字段到报表、数据产品的功能上,对梳理后的指标进行优化、重整;
3、指导数仓的重构:重新规划数仓分层与数据加工流程。
B阶段:
1、制定指标需求审核流程;
2、输出指标作业手册,从指标的变更、动议到方案、执行,制定严格的流程;
3、研发指标系统,规范化指标开发流程,并最终将指标落地到指标字典。
04
针对指标进行前提的调研
指标混乱的原因主要有以下 7 个方面(4 个不一致,3 个不清晰):
1、相同指标名称,口径不一致
如对于 “新用户” 的定义:
运营部的口径是:首次下单并完成支付的用户。
产品部的口径是:当日新增注册的用户。
两者描述的是不同的目标用户群,但由于命名上相同,所以在使用上容易让人混淆。
2、相同口径,不同指标名称
如 “优惠券” 的相关指标:
衡量企业日常经营活动的健康度:优惠券抵扣金额。
衡量市场活动效果:优惠券消耗金额。
两者都是衡量优惠券抵扣的金额,但由于不同名,所以导致认知上出现了偏差。
3、限定词不同,但业务事实相同的两个指标,描述事实部分的口径不一致
如涉及到 “购买” 这个业务事实的相关指标:
白金会员的支付用户数中,“支付用户数” 的口径定义是:统计周期内下单并且成功支付的去重用户数。
黄金会员的支付用户数中,“支付用户数” 的口径定义是:统计周期内下单并且支付成功,并排除退单的去重用户数。
两者描述的都是 “用户支付商品订单” 的这个业务过程,记录都是 “支付” 这个事实,区别在于,一个限定词是白金会员,另外一个是黄金会员。但根据一致性原则,虽然这两个指标不同,但是“支付”这个事实是相同的,所以“支付用户数”这个指标的业务口径、计算逻辑应该是一致的。
4、指标口径与计算逻辑不一致
这个问题的根本是指标的需求方或开发人员对于指标的认识不清晰,导致指标在开发逻辑上产生了错误导致。如 “近 7 日 UV” 这个指标:
正确的定义是:最近 7 天内,有登录过的去重用户数。但是在实际应用场景中,有的会定义成:“7 日日均 UV” 也就是近 7 日,每日的 UV 相加除以 7 取平均值。
这个问题在梳理的过程中是比较难发现的,因为它涉及到计算逻辑跟口径之间的校准,所以需要更仔细地梳理指标开发逻辑。
5、指标口径不清晰
部分指标口径的描述比较笼统,或者部分名词具有多义性。
如描述笼统的 “关单金额” 的口径描述是 “关闭订单的金额”,但关闭订单会有两种理解,1 是支付后退款,2 是支付前取消;
名词多义性的:“地址” 这个维度,有多种涵义,如户籍地址、常住地地址、IP地址、GPS 地址等;
指标描述不清晰,就会让使用者产生误解,所以在记录的时候,必须对这些容易产生误解的地方进行标注。
6、指标命名不清晰
在实际的业务操作过程中,因为各业务部门只着眼于自己的业务,没有进行全局的设计,所以有很多指标在自己的部门内部使用是没有问题,但是跟其他部门沟通时就会产生歧义,如 ROI、销售额、支付人数等。这些词都是普通名词(也即原子指标),是没有一个具体的指称的,所以必须将这些普通名词都加上具体指称的业务对象(也即指标的聚合粒度),变成专有名词,如:
xx渠道 ROI,或是xx活动 ROI;
xx专题销售额,或是全平台销售额;
xx课程支付人数,或是xx专题支付人数。
除此之外,所有的指标都包含了一定的统计周期,只要涉及到具体的数值,就必然要加上统计周期,所有的指标,也都是在最小粒度上去累加出来的,如近一个月xx专题支付人数,是 sum 了 30 个近一天xx专题支付人数,而近一天xx专题支付人数,是 sum 了 24 个近一小时xx专题支付人数,然后到分、到秒。具体需要聚合到什么粒度,根据具体的需求来设计,所以上述的指标需要调整成:
近一周xx渠道 ROI;
近一月xx专题销售额;
近一年xx课程支付人数。
7、指标来源和计算逻辑不清晰
这个问题主要出现在一个指标可以通过多个数据源,不同的计算逻辑分别统计得出。比如:某个课程的销售额,既可以从课程的角度,对单个课程的销售金额进行累加;也可以从用户的角度,对购买过该课程的用户的子单的支付金额进行计算。
如果指标有多个来源,就需要进行来源统一,否则,如果来源不清楚,一旦指标发生问题,很难去溯源定位。另外,有些指标的计算逻辑比较复杂,仅仅凭借业务口径一段描述,使用指标的人还是无法理解这个指标的计算逻辑,这个时候就需要有一些伪码或者 SQL 描述。
05
具体的实施步骤
1、由数据产品牵头,各业务线数据分析师辅助,成立攻坚小组,进行全局指标的梳理;
2、明确梳理计划,进行全业务的指标收集(以下模版供参考);
3、对于收集到的指标,进行初步讨论去重,口径相同的进行合并,并与业务方进行确认;
4、将剩余指标进行归集,明确主题域、业务过程;
5、区分指标类型,拆分原子指标与派生指标,对于派生指标,要定义统计的实体、业务修饰词、统计周期等;
6、输出全局统一的指标字典;
7、根据指标字典,拆分出的原子指标、派生指标、主题域、业务修饰词等内容,指导数据仓库的重构;
8、进行指标系统的搭建,组件化新指标的开发流程。
06
写在最后
指标提质的最终成果,就是要形成一个包含生产自动化、开发逻辑规范化、口径一致化的指标系统。它既包含指标的开发工具,可以让各部门业务人员自行组装指标,也提供全局业务口径一致的指标字典,方便使用人员快速了解指标的业务含义和计算逻辑,避免对指标的口径产生歧义。
转自:一个数据人的自留地;
END
版权声明:本号内容部分来自互联网,转载请注明原文链接和作者,如有侵权或出处有误请和我们联系。
合作请加QQ:365242293
数据分析(ID : ecshujufenxi )互联网科技与数据圈自己的微信,也是WeMedia自媒体联盟成员之一,WeMedia联盟覆盖5000万人群。
如何进行指标质量治理——指标系统(提质篇)相关推荐
- 详解数据仓库数据指标数据治理体系建设方法论
一.数据仓库 数据仓库概念 英文名称为Data Warehouse,可简写为DW或DWH.数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support).它出于分 ...
- 全球治理指标WGI(1996-2018年)
数据集名称:全球治理指标WGI 时间范围:1996-2018年 相关说明:全球治理指标(WGI)是一个研究数据集,总结了工业和发展中国家的众多企业,公民和专家调查受访者对治理质量的看法. 这些数据是 ...
- zippo油和zorro油的区别_陶瓷轴承润滑油的性能质量最指标油的区别?_搜狐汽车...
一.陶瓷轴承润滑油的性能质量最指标油的区别 陶瓷轴承润滑油的性能质量最指标油的区别有以下几点: (1)黏度 润滑油的钻度可以定性的定义为内部层与层之间相互移动或流动的阻力,它是润滑油最重要的一项性能指 ...
- 评估数据质量的指标总结1
评估数据质量的指标总结1 1.RMSE(root mean square error)均方根误差 作用:RMSE是估计的度量值与"真实"值之间的距离的度量. 计算方法: 2.相关系 ...
- 高质量发展指标构建:全国各省高质量发展需求(2014-2021年)
高质量发展是坚持更高层次和更高水平对外开放的发展.中国改革开放四十年的实践充分证明,不断扩大对外开放是推动中国经济社会发展的重要动力,是实现国家繁荣富强的根本出路.因此,在中国经济发展的新时代,推动新 ...
- 软件测试质量度量指标
软件测试质量度量指标 度量模块 度量指标 统计方法 度量说明 产品完成度 1.需求通过率 (已通过需求/已计划需求) 体现需求的完成度.也常可以统计为(测试用例通过数/计划的测试用例总数),即默认用例 ...
- 元数据管理、治理、系统、建设方案、范例等
[数据治理工具]–元数据系统 1.元数据系统 1.1 概述 如果想建设好元数据系统,需要理解元数据系统的相关概念,如数据.数据模型.元数据.元模型.ETL.数据血缘等等. 首先,要清楚数据的定义.数据 ...
- 成为会带团队的技术人 架构设计:治理好系统复杂度才最务实
上一讲我们以架构之名聊了一下理解业务这件事儿,这一讲我想进一步来聊一聊日常工作中架构工作的核心关注点是什么? 我是在接触分布式开发之后,才对"架构"有了概念,从三高(高可用.高性能 ...
- 团队管理之—— 架构设计:治理好系统复杂度才最务实
在接触分布式开发之后,才对"架构"有了概念,从三高(高可用.高性能.高可扩展)到 DevOps(集群.网关.复杂均衡等),从系统的功能模块设计到微服务的业务建模.领域设计.很长的时 ...
最新文章
- Tomcat报错: JDBC unregister 可能导致内存溢出
- cnil在python_在Python中使用cumprod()计算权益曲线
- 光纤布拉格光栅matlab,matlab对各种光纤光栅的仿真
- Java程序员的工资为什么一直那么高?
- 变化的和不变的。。。(2004版)
- use SAP web IDE to commit change to git
- 暴力技术(一)——BFS广(宽)度优先搜索
- 做自媒体培训赚的盆满钵满
- 每一个tab切换的都是一个新的组件刷新
- Rails2.2新特性:本地化与国际化
- 算法:什么是棒球游戏问题?
- JAVA图形化界面设计
- “互联网+工业”下的大数据应用场景分析
- PAT编程(python) 1004 成绩排名
- 机器学习 EM算法理解
- 计算机三级网络题,计算机三级网络试题及答案解析
- QQ复读机java脚本怎么用_教你制作一个QQ复读机机器人【1】接收消息
- 9 个超实用的 JavaScript 原生插件工具
- C语言自学(一)C语言基础
- 形式语言与自动机及其在NLP中的应用