效果回归本质上属于统计学中的因果推断(Causal Inferences)问题。在统计科学中，因果推断要解决的本质问题是剥离(或者说量化/控制)我们所不关心的外部协变量对结果的影响，从而精准捕捉到我们最关心的那一个因素对结果的单一影响。
之前有一篇文章简略的介绍过非AB实验下的效果评估方法

非AB实验下策略的效果评估方法

回归模型构造法

基本方法和数据

在回归模型构建法中，我们往往将‘策略是否上线’作为一个dummy variable（哑变量），连同其他我们认为对我们所关注的评估指标又影响的变量一同作为模型的输入构建多元线性回归模型。数学表达式如下：

建模数据

建立此类回归模型常用pannel data, 例如策略上线前后60天每天的核心指标数据，基本形式如下：

日期	APP某页面渗透率	视频播放时长	直播播放时长	策略是否上线
2018/09/01	0.7	1100	700	0
2018/09/02	0.75	1200	800	0
…	…	…	…	…
2018/09/15	0.8	1000	900	1

案例解读

可以通过R或者python对模型进行拟合，再对输出结果进行解读，重点需要关注的是：模型自身的拟合性能（R²), Dummy Variable的显著性以及Dummy Variable的系数值。
我们看一个案例，某一个策略上线，通过回归方法研究此策略的影响（这个案例和上面的panel data无关哦）。

案例解读：

R²: 是回归模型整体效果评估指标，在0~1之间，越接近1说明目前的模型对Y的波动解释性程度越高。一般地，当R² 高于0.6时，说明模型有一定的参考价值，案例中模型R² 是0.9257，说明模型拟合良好；
Dummy Variable的T检验显著性：只有Dummy Variable显著的情况下才有毕业进一步看起系数值，本利中isdiaodu的p值是0.0748，在0.1的显著性要求下是显著的，也就是说明调度策略一定程度是有效的；这一步check很重要，有时候策略就是不显著的！
Dummy Variable系数的现实意义：当调度策略上线时，全局供需密度差下降了0.006978 （也就是0.69pp)。

回归模型构造法的局限

回归模型构造法的局限性

局限性：

同时有多个策略上线，或者策略上线时外部市场环境发生巨变，回归模型构建法往往很难剥离出多个策略各自的收益;
模型拟合存在天然误差。如果不是统计学内功深厚的人，你可能不知道是模型拟合的不好，还是真实世界策略确实无效，太难了。

注意事项：

避免多重共线性；
如果不同城市、不同渠道、不同人群对模型相应有明显的先验不同，需要区别对待，建立不同的回归模型，否则混在一起会有bias;
剔除异常点一面影响模型估计。

倾向得分匹配法

为啥会有倾向得分这个概念呢？我们可以简单讲一个小故事。

举一个例子:某药厂研发了一种新型癌症药物，经过动物测试，该药有显著疗效。药厂想要在病人身上实验癌症新药的效果，该药存在一定的副作用，该药厂决定在某医院采用自愿报名的方式征集实验对象。一段时间后，药厂发现用药人群的一年存活率显著低于未用药人群，效果不如预期。
药厂聘用了一位数据科学家帮忙解释这个疑难问题，数据科学家敏锐地提出了一个猜想…

如何帮助药厂获得科学可靠的实验结果的核心是啥？是找到一批和被试人群的潜在接受用药概率接近的人群。
我们认为接受用药概率相近的人群有着相近的病情、年龄、财务背景和治疗信心，使用接受用药概率相近的人群进行存活率对比可以有效避免“因为过度绝望才选择实验用药，因为本来就有较好的康复信心而不参与实验”的Selection Bias。

在这个案例里，‘潜在接受适用药概率’即为倾向性得分（propensity score)
将用户的天然属性作为X,是否接受用药作为Y建立回归模型，表达式如下：

获得每个样本的倾向性得分后，可基于最邻近匹配方法为实际接受用药的群体–对应的锁定合适的对照组样本，人为构造一组‘世界上最像你的人’。此时对比实验组和匹配对照组的存活率即可视为药物的收益。

注意事项：

倾向的分匹配是建立在倾向得分模型稳健拟合的基础上的，使用倾向得分匹配需事前检查倾向得分计算模型的预测性能(Accuracy、- Recall、Precision、AUC); 2.倾向得分匹配法不是万能的，它只解决寻找合理对照组的问题，但依旧需要实验组、对照组有足量样本才能获得统计显著的结果。

双重差分方法（DID）

DID方法常用于全城上线的实验的效果回归。我们假设策略上线前后的指标差异可以拆分为大环境变化带来的差异(Trend)和策略上线(Treatment)带来的差异两部分。我们可以找到一个长期指标变动趋势和实验组较为相近的组作为虚拟对照组，通过该组时间前后指标的波动差异来量化Trend，从而有效剥离出Treatment带来的独立影响，可以近似的理解为：AB差异-AA差异=真实策略差异。
核心假设：趋势一致性，即在策略不上线的情况下，实验组和对照组的指标变动趋势的相似关系是始终保持高度稳定的。
DID的核心优势是模型建的、基本不用算法拟合，容易理解和应用，难点是怎么找到长期变化趋势高度同步的虚拟对照组呢？
以滴滴公司的情况为例，我们可以通过多个信息输入源(比如多个城市数据、同城不同产品线的数据以及观测指标自身长期的时间序列波动)来拟合出一个“策略没上线”的虚拟现实(Counter Factual)作为 E(Y|X=0)，将现实中的数据结果作为E(Y|X=1)，那么策略带来的收益(Delta)就是:

这类似于集成学习(Ensemble Learning)集成多个弱学习器的结果得到高准确性预测结果的思想方法。

非AB实验的效果评估相关推荐

如何支持亿级用户分流实验？AB实验平台在爱奇艺的实践
01 背景随着互联网公司的产品和业务越来越多样,利用数据来驱动业务决策成为必然,而AB实验正是以数据指标来判断产品功能和运营策略迭代效果的方法和工具,其可以在保证样本同时性和同质性基础上,对比两个或 ...
数据分析36计(30)：关于 AB 实验的 1.5 万字总结
实验原理假设检验的目标是拒绝原假设,它的核心是证伪.先假设原假设成立,然后计算原假设反面出现的概率,如果概率较大,则证明原假设不成立. 对于 A/B Test 来说, p值是在实验组和对照组没有差别 ...
AB实验分析方法论 - matching
AB分析有一个总体的思路是这样子滴~ 这次我们来讲一讲AB实验分析过程中的一个基本方法论 Matching. Matching的方法其实大家在日常工作中都用过,一般是在大盘整体对比得不到显著影响的时候 ...
AB实验系列一：基础概念
One accurate measurement is worth a thousand expert opinions --Grace Murray Hopper A/B实验是最直 ...
鹅厂分享：AB实验只是开始？如何归因和解读才是王道！
分享嘉宾:钱橙腾讯高级数据研发工程师编辑整理:Theodore 厦门大学出品平台:DataFunTalk 导读:大家好,我是来自腾讯看点数据平台中心的钱橙,之前主要负责看点内部AB实验平台的建 ...
ab实验置信度_为什么您的Ab测试需要置信区间
ab实验置信度 by Aloïs Bissuel, Vincent Grosbois and Benjamin Heymann AloïsBissuel,Vincent Grosbois和Benjam ...
【数分】7. AB实验篇
文章目录 0. 常考问题 1. A/B测试的基础知识 1.1 总体流程 1.2 数据准备 1.3 aa实验 1.4 ab实验 1.5 独立样本t检验 1.6 简单的ab实验代码 2. A/B测试的进阶 ...
AB实验只是开始！如何归因才是王道！
来源:DatafunTalk 导读:实验分析是决定整个实验最终结论产出的环节,相比于分析业务报表,对于实验结果的解读需要我们更多的挖掘以及归因,所需要的方法论和分析手段也更多.这里我将我们在实验分析中 ...
用户标签体系的设计和效果评估
导读:随着互联网流量逐渐见顶,传统的粗狂式的买量获客冲业绩很快会成为业务发展的瓶颈.对于中大型互联网公司来说,精细化的运营和精准化营销是企业运营老户,发挥存量用户最大价值的必经之路.新的流量洼地越来越 ...

非AB实验的效果评估

目录