我之前一直有个困扰，领导是一个很重视数据指标的人，我每天早上9点，领导准时呼唤我，为什么今天的数据是这样子，是有什么问题吗，刚开始吧，还好，但是每天都要问，我都害怕，但是吧，后来也觉得这样子也不合适，天天问再解决，要提前预警啊，所以立了这个项目，这篇文章就是跟大家系统的介绍数据指标预警系统的东西。

01指标的类型

一般的公司的数据指标会分布在以下几个维度：

1、用户数量检测

每天早会，一般都会对昨日的活跃用户，成交用户，新增用户的数据做回报，以确认过去的一天或者几天的用户数据是稳定的，但是假设不稳定，可能就需要找出不稳定的原因，找不稳定的原因这个工作就是数据分析师做，往往这个工作是最没有头绪的，之前出现相似的情况还好，假设之前没出现过相似情况，需要从数据源头一步一步分析，可能一两天下来，结论就是偶然现象，那就很狗血了，那么预警不能帮你分析，但是在你分析问题的路径上，建立主要指标，用来预警总体用户数量的变化是否正常。

假设你要看活跃用户的数据是否问题，假设现在你是不稳定的了哈，那么照着这个逻辑，就是查看每个时段活跃用户的占比，与之前的数据相对比，这时候你的数据指标预警体系中，活跃用户的时间段异常报警就需要有了，这个指标描述更通俗一点，就是例如这个指标就是统计每个时段活跃用户的总数占整体总数的占比与之前数据的差别，以及时段活跃用户人数与之前数据的差别，假设这两个差别不大，那么你在回报的时候至少你可以肯定跟领导说时段差异这个没啥。

但是你会说，你这种指标我也有啊，我为什么要预警，预警是为了提醒你，因为不一定你每天都能看指标的数据，所以预警就是发现异常才推送给你，那么异常的阈值你设置的差别的差距，例如2点的活跃用户之前是3000多，今天是300，那明显就差很多，你要是实在不知道设置差别多少是异常，就问领导多少的差距是可以接受的。

2、关键事件的转化率。

关键事件的转化率，这个大部分服务于开发的产品经理，为什么呢，因为转化率的异常大部分是因为页面功能出现异常导致的，这种转化率的预警特别关键，可以及时提醒开发的产品经理页面错误，从而修复bug。例如前一晚发版迭代新功能，隔天的转化有变化，立马就可以响应起来了。

3、模型效果的监控。

这个应该是建模人员经常用到的，首先，模型效果监控是我们经常用到的，那么模型效果的指标就需要做预警。其次，还有模型的主要变量也是要监控预警的，因为部分纬度是来自于第三方，那么假设第三方的数据出错，或者接口失常，回来的数据可能是空的，你也不知道（这里我怎么会说数据是空的还不知道呢，因为往往很多时候，线上的情况多种多样，为了模型稳定运行，会做一些兼容，应对复杂的线上数据格式，就担心你把api返回的数据是空和这个数据本来是空给兼容成一样的了）。最后一点，我想重点跟大家说下是，调模型的api次数，为什么这个也要监控预警呢，因为数据调模型的条件，很多时候是过了前置规则的用户数据，那么正常情况下，一天各个时段有多少用户数据会调模型次数应该是差不多的（除非你们运营投入推广），假设突然有天变少了，你就要怀疑是不是你的规则的变量出错了，或者你的规则设置的时候把数字设置错误了。

02、指标预警方法。

1、比率占比法。

指标类型哪里，我也一直提到这个方法，其实就是看各个区间的占比是否跟之前的比较接近，但是这里需要注意的是，不要把“之前”拉的太长，一般是最近7天或者最近3天就可以了。那么这个时段之前的占比（或数据量），这个占比有以下几种方法可以参考：

A、就是计算过去几天的每个时段的平均占比（或数据量）。
B、过去7天，按照距离的时间越长，那么权重变少，例如最近往前推一天是0.5，最近往前推二天是0.3，这样子的权重计算。
C、就是只用过去一天的数据做对比，但是这个不太实际，不过也要看你的业务是怎样的。

2、统计方法

1、时间序列分析。数据量在时间序列上是可以有规律可以遵循的，所以可以利用时间序列分析的方法，预测当天的数据量，若数据量与实际相差太多，则触发指标预警推送。（这种方法不推荐，在理论上可以过得去，但是实际的运用其实相对复杂并且效果也不一定好）
2、相关系数计算。第一点的占比法中，需要每个时段都去计算差别，产生的指标就会多，一旦这种数据量的类型多起来，就会很复杂，所以可以将这些占比列成一个向量，计算今天与之前的数据量组成的向量的相关系数的大小，当太小的时候，主动触发预警。

3、差值法&定值法。

这个方法是最简单的，这个在模型监控中常用到，其实就是将原先的模型效果与现在的模型效果做比较，或者直接计算模型KS后者auc值看是否低于某值，则预警，但是这里注意的是，这种模型的预警一般没办法以天为周期计算，因为模型的y值往往是有滞后性的。

4、孤立点检测。

上面的几个方法是在单一维度上的，有时候单一纬度看不出问题，需要用多维度观察是否异常的时候，可以通过纬度建立的向量，例如你要检测整体用户交易的数据是否存在异常，假设你有数据量为：新增用户数、单一用户提交订单数、单一用户申请数量、单一用户成功交易数量，这四个数据，列出过往7天，每天的数据构建出一个向量，里面上你有7个向量，如果你的数据没问题，那么这7个向量应该是聚集在一起的，假设你今天的数据有异常，那么你今天的数据构建出来的向量应该是离7天的那一撮聚集点是比较远的，远多少呢，可以用向量的距离表示，欧式距离呀，余弦距离啊之类，你自己选一个，距离多远需要预警推送，那你就自己定义啦。

03指标的预警通知方法：

1、钉钉机器人&企业微信机器人通知

钉钉机器人还有企业微信机器人都设置了群机器人的功能，大部分的开发会拿来检测任务是否正常运行，或者定时任务是否完成运行的提醒，所以你也可以拿来作为你的指标预警推送，网上都有响应的教程可以作为参考，写python即可实现。

2、邮件通知

当公司没有第一点的软件，或者机器不能链接外网的时候，可以借助邮件推送的方式，利用python中的smtplib包实现。

3、平台推送

到了特地为每个分析师都开发了这个预警平台或者自研的bi平台可以满足预警推送的功能化，也可以通过平台推送，但貌似没有邮件或者钉钉直接耶。

04、指标预警管理

1、指标重要性排序

预警的指标越多，越频繁，你越到后面其实会慢慢的不重视了，所以首先，预警指标需要做重要性排序，先实现会经常出现异常导致你经常加班分析的指标，先实现在业务层面的重要指标，预警指标推送时间不要挤在一起，不然你同时接受多个预警，你不会仔细去看，而且要是都是异常的话，一下子那么多异常出来，你会心慌，那么分析思路就不那么清晰了。

2、指标收件人。

如果你是以邮件的形式发送的话，建议可以新建一个py文件放置你要指定知道这些异常推送的人，然后以import的形式导入，那么你要每次增加收件人，就只需要修改这个文件就可以了。

3、指标定时任务设置

各家公司的定时任务设置不同，有些直接是在服务器，有些是在平台上就可以了，但是这里提醒一下就是，指标预警是需要跑代码的，所以你在设置这个自动任务的时候，需要再设置一个推送，则是否跑代码完成，以至于你可以检查到底是没报错，还是没跑代码。

往期推荐阅读：

python数据导入之导入各类文件方法

github上面那些可以让你快速做模型的代码

B站上那个不用钱的学习python的资源

python serise处理 60句 +字符串处理 40句

互联网金融大洗牌之后，你还好吗？

构建数据指标预警系统相关推荐

数据产品-数据指标标签常用sql函数
SQL能力是作为数据产品经理必不可少的技能,当然,作为数据产品,我们对SQL的查询效率的要求可能不像开发那么高.而对于SQL的学习一般也是只需懂DQL查询语言就行,对于DCL.DDL.DML这些一般只 ...
原创 | 这可能是比房子更保值的资产？七步法构建数据资产价值评估模型
作者:清华大数据软件团队本文约2500字,建议阅读5分钟 "数据是资产"已经成为全球共识. 标签:数据资产一.前言在中国共产党十九届四中全会上,中央首次公开提出"健 ...
数据有了，如何构建数据资产?
本文由百度智能云大数据资深产品经理--崔宝宏在百度开发者沙龙线上分享的演讲内容整理而成.本次分享模拟企业面临的真实场景,介绍如何利用百度大数据产品帮助企业构建数据资产. 本次分享从以下四个环节展开: ...
如何基于DataWorks构建数据中台？
简介:为了应对众多业务部门千变万化的数据需求和高时效性的要求,阿里巴巴首次提出了数据中台的概念,经过众多项目的实践已经沉淀出了标准化的流程和方法论.如何构建一个数据中台?一个好的数据中台需要具备哪些功 ...
大数据平台构建_如何像产品一样构建数据平台
大数据平台构建重点 (Top highlight) Over the past few years, many companies have embraced data platforms as a ...
对大数据指标的理解、大数据常用指标都有哪些
导读:数据指标体系是构建数据中台的重要一环.数据指标的建立让运营及产品人员更直观地看到基本指标的变动,让数据分析师更便捷地开展数据分析工作.数据指标就是将大数据之"大"的精髓给提炼 ...
构建数据大治理生态体系，保障数字经济创新发展
数据作为数字经济的核心生产要素,正成为经济转型和发展的新引擎,成为社会治理的有效可行的手段.在新冠肺炎疫情的防控工作中,大数据分析.人工智能等在疫情监测.疫情分析.病毒溯源.防控救治.资源调配等环节的 ...
详解数据仓库数据指标数据治理体系建设方法论
一.数据仓库数据仓库概念英文名称为Data Warehouse,可简写为DW或DWH.数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support).它出于分 ...
数据仓库amp;数据指标amp;数据治理体系搭建方法论
数据仓库的基本概念数据仓库概念英文名称为Data Warehouse,可简写为DW或DWH.数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support).它 ...
什么是数据指标管理，如何建立指标管理体系
数据指标管理是指对数据指标进行收集.分析.监控和报告的一系列活动,以便帮助组织管理人员做出基于数据的决策. 数据指标管理通常包括以下步骤: 1.收集数据:数据指标管理需要对相关的数据进行收集,并将其存 ...

构建数据指标预警系统