小进阶:数据指标体系和数据治理的管理
小进阶:数据指标体系和数据治理的管理
关于作者:小姬,某知名互联网公司产品专家,对数据采集、生产、加工有所了解,期望多和大家交流数据知识,以数据作为提出好问题的基础,发掘商业价值。
0x00 前言
我将整理文章分享数据工作中的经验,因为业务内容上的差异,可能导致大家的理解不一致,无法体会到场景中的诸多特殊性,不过相信不断的沟通和交流,可以解决很多问题。上次我们分析了一下职场基本功,为什么要重视需求质量,常见的数据需求文档改怎么写。今天我们来就聊一聊上次文章中的一个重点关键字“数据指标体系”的周边。
历史导读:小诀窍:不妨尝试从交付质量上打败对手
以下,Enjoy:
0x01 为什么要搭建指标体系
在《小诀窍:不妨尝试从交付质量上打败对手》我们提到过为什么要搭建指标体系,相信大家在看数据相关招聘岗位简介的时候,也经常看到有关搭建指标体系的要求,因此这里简单的给出两点做指标体系的重要性。
搭建稳定的数据观测体系(维度指标体系),让数据从生产到使用的整个流程更加标准、可靠;
稳定的数据观测体系,不仅能够让数据加工、使用的效率提升,还有利于统一认知,规范数据建设者的工作方法,解决数据维度/指标膨胀,数据不一致的问题,从而拉升内部的相关人员整体的数据专业水平。
如果大家仍然对搭建指标体系的作用和意义存在不同的看法和见解,希望继续深入的沟通了解,欢迎评论留言或者加入我们的微信群聊共同交流。
0x02 怎么搭建指标体系
我们先思考简单的数据问题,这是我作为校招面试官经常会同大家沟通的一个案例。
如果你现在成为一个产品项目的负责人,你想看到哪些数据指标,为什么要分析这些数据指标?
我们现在聚焦一下,从刚才列出的数据指标序列中选出x个指标,怎么选,为什么?
第1题考察点
互联网行业是否熟悉,能够对行业的数据指标有多深的了解;
基本的度量和效果评估意识,构建数据和商业业务的关系抽象能力。
备注:相信我,很多候选人连像样的指标都回答不上几个,更无法洞察数据和商业之间的关系。
第2题考察点
有限的选择下,是否有判断主次的逻辑能力,针对自身的观点和知识能否自我革新升华;
更深层次的思考,为什么要以更少的数据指标去判断商业行为。
这个题目对于处于职场实际工作中的同行来说同样具有考察需要,我们评估一个产品项目所需要的指标是越多越好,还是会存在其中一个适度的分界点(投入产出比的最大化)。
话题回到正题,怎么搭建指标体系?
首先任何没有管理或是数据指标系统的组织中,数据指标的需求形式都类似于第1题的样式存在,团队中不同的人拥有不同的度量单位和评估体系(即使这个人认识到第2题问题的存在,他自身的指标体系依然处于第1题)。
数据指标体系必须是搭建于组织或者一个团体的共识,让整个组织和团体内的度量单位和评估体系,第1题是缺乏管理,肆意生产的野蛮方式。让整个组织和团队提升到第2题的水平达成一致才是数据指标体系。
数据指标体系不是收集指标汇总起来,也不是将所有数据需求全覆盖;
数据指标体系是以最小的投入搭建科学的效果评估指标,让组织和团队达到统一认知的事情;
在《小诀窍:不妨尝试从交付质量上打败对手》我们提到过为什么要搭建指标体系,我们将(“平台:枚举值:全部、iOS、android、其他,例如web、TV归为“其他”)重点看一下,在搭建指标体系过程中,我们将数据量较小的平台(web、TV)聚合,不在允许对类似数据的过度效果分析(不允许什么都想要的态度)。
思考:人民币中为什么存在的是1元、5元、10元,2元钱的纸币为什么退出了历史舞台。国际货币为什么不能所有国家发行,美元的作用是什么?
0x03 指标体系的评估标准
指标体系除了有科学的方法搭建,还会存在很多主观的判断。我们在搭建指标体系的时候,经常遇到的问题是为什么大家要遵循这套指标体系,它的权威性怎么得到保障。
指标体系的搭建非常依赖领导的背书和强势认可
指标体系的搭建相对于提升团队的全员水平,所以这不是简单事
指标体系也有生命周期,不断的产品项目阶段需要的指标体系不同
基于以上的几点,指标体系的搭建方法论就很明确了,首先做到领导的认可(指标体系相当于和领导之间的一种协议),其次指标体系的宣贯传播工作不可或缺,其次指标体系的内容需要长期的维护。从这三点我们可以梳理出一个目标的观测值:
基于领导的认可,指标体系是否解决领导提出的问题,问题的量化目标就是指标体系的目标
提高全员的水平怎么证明,问卷、考试、需求文档的质量或引用、指标体系内容的访问数据
指标体系内容的更新频次、更新数量,内容汇报
注释:我认为最佳的期望是指标体系内容作为知识,沉淀于知识库工具中。通过知识的访问量,以及定义的测试来判断指标体系价值。
0x03 指标体系的管理内容
数据指标的概念我们很多同学听过,并且也经常看到招聘职位上的要求。但究竟指标体系的怎么落地,包含什么内容相信很少有人真实有过经历。
我对指标体系的理解总体有这个几个观点:
不同组织或者团体期望指标体系解决的问题一致,但落地的指标体系内容不同
指标体系落地产物强依赖于业务,不同的业务存在不同的玩法
指标体系多数情况下连同管理工具一起落地
我认为当前的指标体系,均不能很高效的解决期望问题,我自己目前较为理想的方案也未实际执行
指标体系中的业务指标内容(简版)
指标名称:意向UV // 名称要保持唯一
指标类型:基础指标 // 指标的计算方式,直接计算生成,还是多个指标计算生成
主题分类:流量主题 // 根据业务需要,对指标进行分类管理
业务定义/指标口径:意向页面的访问用户数 // 对指标的定义描述,目前看这块问题很多,歧义很多
统计维度:平台,城市,版本,业务类型…… // 实际工作中会发现,统计的维度很多
指标体系中的指标技术内容(简版)
指标代码:flow_intention_uv // 代码要保持唯一,如果指标名称业务内唯一,指标代码要全系统唯一
数据类型:bigint // 指标的存储数据类型,数据仓库中指标类型重要的不是很大
数据计算模型:略 // 指标计算的SQL逻辑,实际工作中感觉问题很大
字段名称:intention_uv // 对应数据表或是取数逻辑中的字段名称
计算公式:count(intention_uv) // 实际工作中,阅读理解还行,意义不大
以上为我们管理指标体系中的简版内容,实际情况根据不同的业务需求,以及工具的搭配使用需要的内容会更多一点,基本上都是为了维护运营指标体系,更好的管理指标名称和口径定义。
我认为当前的指标体系,均不能很高效的解决期望问题,我自己目前较为理想的方案也未实际执行。以上述的指标内容为例存在很多问题,比如:
意向UV:意向页面的访问用户数,在理解这个指标的时候需要存在一个前提条件,什么是意向页面。那么就会涉及到一个意向页面的概念,但是意向 页面本身不作为指标内容被管理。意向页面的定义“意向页面为详细介绍商品内容的页面。又或者理解为:在当前页面只需“1步”即可进入交易流程的页面,为意向页面。)”。
另外,数据计算模型:略 // 指标计算的SQL逻辑,实际工作中感觉问题很大。我们也会发现实际的工作当中,数据指标不会单独出现,更多的时候是日期+维度1+维度2+……维度N+指标1+指标2+指标N的方式出现,数据的模型计算也是根据需求表头设计搭建的。
除去以上两个问题,指标体系的内容运营维护还会存在很多问题,这直接影响指标体系的搭建是否成功且实用。目前我所接触的范畴内,以上的管理方式适合传统企业的指标体系管理,在数据迭代速度快,多维分析强的互联网领域并不能接受业务的调整。
我比较理想的管理方式(当前处于尝试当中):
搭建百科形式的知识库,以知识库管理指标体系,将指标的内容管理做成百科形式,不断的积累内容,才有可能进行知识的普及实用价值,才有可能标准化。(指标百科是什么东西,大家看一下“北京市”的百度百科即可,从不同的角度介绍北京,数据指标也应该有这样的补充,介绍指标的业务背景,概念定义,相干关系,所需要的数据源等等)
分类方式的改变,不能单纯的以指标作为分类。应该以业务分组合,比如我们看PUSH消息的数据效果,应该逐渐的是建立PUSH消息应该看那些维度和指标,解决不同的同学对同样业务存在不同的考量数据指标体系的问题。在搭建指标百科的同时建立数据效果监控整体的目标对齐,PUSH效果怎么评估,是否可以标准的稳定下来同样的一套数据,页面怎么效果评估,是否可以标准的稳定下来同样的一套数据。
以理想的方式搭建指标管理内容,在我前面的文章《小诀窍:不妨尝试从交付质量上打败对手》中有提到,我们可以根据需求的类型做分类进行固化。
0x04 指标体系的管理工具
管理指标体系内容搭建的管理工具,我们通常将其和元数据管理放在一起。也可以看出元数据管理和指标体系管理很类似(元数据的管也存在指标体系同样的问题),在管理指标体系内容的时候,基本涉及以下下几块内容:
数据仓库表管理 // 一般只涉及应用层数据
数据指标管理 // 管理上面提到的指标内容,新增,编辑,删除,状态等
数据维度管理 // 类似指标内容,新增,编辑,删除,状态等
数据模型管理 // 管理指标或者数据表头计算的模型,新增,编辑,删除,状态等
数据应用服务管理 // 支持数据可视化,或者数据服务的方式,接口等
数据权限管理 // 管理工具的权限运营维护
备注:指标体系的管理工具,须建立相关的运营维护流程。
当然,正如我几次提到当前的指标体系内容的管理不理想的问题,这是很多人遇到的问题,我也在探索新的管理方式,后期我会单独开篇文章总结以知识库工具怎么配合指标体系的大家。
更多小姬的文章:
小诀窍:不妨尝试从交付质量上打败对手
小进阶:数据指标体系和数据治理的管理相关推荐
- 层 数据仓库_小尝试:基于指标体系的数据仓库搭建和数据可视化
关于作者:小姬,某知名互联网公司产品专家,对数据采集.生产.加工有所了解,期望多和大家交流数据知识,以数据作为提出好问题的基础,挖掘商业价值. 0x00 前言 我将整理文章分享数据工作中的经验,因为业 ...
- 小尝试:基于指标体系的数据仓库搭建和数据可视化
我将整理文章分享数据工作中的经验,因为业务内容上的差异,可能导致大家的理解不一致,无法体会到场景中的诸多特殊性,不过相信不断的沟通和交流,可以解决很多问题.前面我们分析了职场基本功.数据指标体系,今天 ...
- 数据指标体系建设思考(二)
一.数据指标体系搭建原则 我们在搭建数据指标体系时不能只是简单地堆积指标,也不仅仅会罗列指标.这可能以往有很大一部分人都会犯的通病. 那么我们在搭建数据指标体系时需要考虑的因素有哪些,或者从常规的方法 ...
- 快手如何搭建一个好的数据指标体系?
导读:本篇文章源自钱英男老师在『快手大数据|数据内容建设交流会』上的演讲,相关视频回放可用快手APP搜索"快手大数据"观看. 一个好的数据指标体系可以助力业务快速的解构业务.理解业 ...
- 【业务数据分析】——如何搭建数据指标体系
目录 一.数据埋点 二.数据埋点的作用 三.设计埋点方案 1.明确埋点目标 2.确认上报变量 3.明确上报时机 4.明确优先级 四.搭建方法:OSM模型.UJM模型.AARRR模型 1.OSM模型 2 ...
- 如何构建公司级的数据指标体系
如何构建公司级的数据指标体系 最近打算给公司开发一个数据可视化平台,建设数据可视化平台首当其冲的问题是建立数据指标体系,可以说数据指标体系是数据可视化平台的核心,也是数据可视化平台能用.易用.可用的保 ...
- 让大数据“觉醒”,数据中台与数据开发平台成为企业关键战略
以2006年Hadoop技术诞生为标志,大数据技术迄今已经走过15个年头.与此同时,全球大数据的爆炸才刚刚开始:根据有关预测,2020年全球数据总量为47ZB,而到2035年将达2142ZB,未来15 ...
- 微信小程序自定义组件-树形数据表格(进阶版)
前言 一.下载引用 二.使用treegrid组件 三.使用文档 属性 事件 四.组件源码 利用递归思想编写的表格行--treegrid-treeline 树形表格--treegrid-treegrid ...
- 美团数据指标体系搭建实战
点击上方蓝色字体,选择"设为星标" 回复"面试"获取更多惊喜 八股文教给我,你们专心刷题和面试 Hi,我是王知无,一个大数据领域的原创作者. 放心关注我,获取更 ...
- 数据仓库amp;数据指标amp;数据治理体系搭建方法论
数据仓库的基本概念 数据仓库概念 英文名称为Data Warehouse,可简写为DW或DWH.数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support).它 ...
最新文章
- Windows PE第6章 栈与重定位表
- 工作占用了太多私人时间_职晓|如果工作占用了生活时间,我应不应该辞职?...
- 高级语言的编译过程和解释过程_进来了解一下C语言真正的编译过程看你掌握了吗?...
- Idea导出可运行Jar包
- java servlet spring_带着新人简单看看servlet到springmvc
- 递归、搜索、贪心、动态规划的区别
- CMS软件系统架构设计思考
- Hibernate Criteria 条件查询
- matlab7.0的序列号
- QT5.9的安装和配置
- Android微信如何退版本,微信7.0降级教程 微信版本回退教程
- 计算机学科发表顶级期刊论文,计算机类顶级期刊_计算机顶级期刊_mcs数学与计算机期刊...
- Java中求珠穆朗玛峰问题
- python 为女神编朵玫瑰花的代码,python绘制玫瑰的代码
- Blender 制作刀光特效所用模型
- Mysql底层数据结构学习总结
- 一起自学SLAM算法:8.1 Gmapping算法
- 是时候曝光这些低调却挣大钱的互联网公司了!
- 微信小程序开发(十二)富文本插件wxParse的使用
- STM32基本外设超详细44000字教程
热门文章
- android 音频系统/声卡驱动 codec
- 图像取证:源识别和伪造检测(Image Forensics: source identification and tampering detection)
- 大数据智能学院的硕士论文怎么写_大数据智能营销笔记本怎么样
- SCRUM浅谈,User Story,Sprint,Burn Down Chart
- t检验临界值表中的n是什么_t检验临界值分布表
- 数据分析-学术前沿趋势分析-论⽂数据统计
- 一个抄底指标(52周新低的股票占比)
- 统计分析——假设检验、中心极限定理
- C语言入门练习— —累乘
- 读取微信聊天记录并制作词云图