一文读懂ABtest实验分析与实验复盘

一、实验分析

1、减少犯第一类和第二类错误的概率

I类错误防范：
- 小概率α设置小些( 避免小概率的触发)
- 增加样本量（使异常数据的影响降低）

II类错误防范：

由于第二类错误是原假设不正确，没有拒绝她它，只能在实验结束之后才能计算出，是一个事后值

一般不考虑该问题，默认设置的二类错误的概率是20%。

共同：

样本容量不变的情况下，两类错误出现的可能性是反比，只能增加样本量，才能同时减少犯两类错误的概率。

2、时间问题

新奇效应：表现在指标的检验结果上就是前期显著，后期不显著；

喜旧效应：表现在指标的检验结果上就是前期不显著，后期显著。

3、流量的分层问题

流量分布不均匀，可能直接导致我们最开始的假设检验的结论和最后放量之后不一样，产生大量的实验成本和决策失误的问题。

辛普森悖论的问题：A组的男性和女性的指标上的表现都比B 组好，但是总体的结果却是 B组总体会比A 组指标好。

多重实验影响：很可能一批用户会被多个ABTEST实验都命中，这就导致直接对比实验组不能再做到控制变量，实验结论准确性受到影响。

因此，这些会影响带最终的实验显著性的问题，在实验开始前就要进行合理性检验或者是AA 测试来排查问题，从而最大程度减少实验损失。

4、实验指标相关性与业务意义

一次实验上线大大小小可能会影响很很多个指标，从用户视角来看就是一个策略对用户行为的影响具有广泛性和不可测性。

因此在实验前就要考虑到实验目标中各个指标的关联性领域重要性的排序，上线后不能容忍变差的指标是什么，上线后最核心目标提升的指标是什么，哪些指标之间可能存在冲突。

比如现在想象微信公众号为了拉升日活拉升用户在公众号场景下的活跃，将关注的订阅号消息更新调成了通知栏展示的模式，很显然，大概率实验数据中曝光量，点击量都会大幅上升，但是这样频繁在原本是社交属性的场景下打扰用户，会直接导致用户的取关率上升，用户误触率上升，拉低整体的阅读时长。

5、实验结果不显著怎么改善

其实已经可以问出这个问题，就说明我们可能对于某些策略在业务上有比较强的预期，应该实验是呈现显著的，但是由于实验最小的检验水平不够，表现出的实验数据最终是不显著的。

因此，这时候两个大的思路就是增大样本量（包括延长时间) 和的减少方差，方案一很明显，伴随着比较大实验成本（主要是机会成本），因此在数据上对样本地方差减少是比较好的方案。

比如，选择那些方差较小的指标作为核心指标指标，比如比率性指标的方差相对数据值指标就会小，其次，可以做一些算法上聚类或者其他相似性匹配的指标，融合流量分桶，最简单的就是，可以删除的一些离群值减少方差。

二、实验复盘

1、关键指标的显著与否

比如对于电商业务来说，上完一个策略，即使曝光和CTR 都被提升了很多，但是CVR在降低，本次实验就应该停止。

当然关键指标的确定本身就是与业务当前阶段的目标是强相关的，比如即使我们上面提到的微信公众号强曝光之后，取关率上升，但发现长期来看，活跃率逐渐稳定到一个比较高的水平，用户的的阅读完成率也变高，对应的广告收入也提升了，虽然经历了短期的取关率这个负向的指标的上升的带来的压力，但是本质上该策略可以帮各个公众号筛选出一批高质量高粘性的用户，将本身就不感兴趣地用户筛掉。

2、推全量还需要注意什么

推全量之后还是要保证持续进行监控，很可能出现随着实验天数增加，实验样本量的增加产生不显著的问题。

因此，对于抖音、淘宝这些体量已经很大的公司来说，每天站内的实验量很大的时候，很多实验也会直接影响到公司收入，对实验结果的预期管理变得很重要。

从公司层面来看，大概率ABTEST已经沉淀为相应的数据产品，产品也有设置实验的报警机制，一旦某实验上线后带来损失达到一定的阈值，就要马上停止实验，控制实验损失。

3、不适合的AB 的场景

虽然所有策略都可以写出两份来，但确实不是所有有AB方案的产品或者运营方案都是适合进行ABTest 的，样本量，可控性，实验成本等等都会影响。

方法	did	Psm / ipw	Causal impact / 合成控制
适用	城市粒度	人粒度	城市/全国粒度

相关系列更多知识：关注gzh/b站《大佬等我呀》