谷歌是如何高效做AB实验的

本人微信公众号为“推荐算法学习笔记”，定期推出经典推荐算法文章，欢迎关注。

我们知道互联网公司经常要上线各种各样的实验，例如修改UI界面的某个按钮，上线一个新的算法等等。通过实验的对比指标来衡量这些修改对用户的影响程度，以此来提高用户体验，提高公司收益等等。本文主要参考google经典论文《Overlapping Experiment Infrastructure:More, Better, Faster Experimentation》第4部分，阐述谷歌等大厂都是如何高效地做ab实验的。

一. 可能想到的实验方案

方案1）将用户分成两半，一半做对照组，一半做实验组

缺点：一次只能做一个实验，假如想要同时做两个实验，将无法满足

方案2）将用户分桶，例如通过用户ID取模分成1000个桶，一些桶做基线，一些桶做实验

缺点：如果桶分的太少，同一时间可以做的实验还是受到限制。如果桶分的太多，每个实验桶的流量将会变少，置信度将会降低，需要更长的实验时间。

同时，假如我们的实验涉及到多个系统服务，这些系统服务之间是有关联的。以一个新闻推荐系统为例，我们知道，当系统接受到一个用户请求的时候，首先会去召回系统里面取出候选的新闻，然后再将这些候选的新闻发送到精排系统进行排序，假如召回系统和精排系统同时在做ab实验，怎么消除这两个系统的相互影响？

二. 正交实验

可以看到上述方案的缺点是一个用户请求只能进行一个实验，那假如一个用户请求我们同时进行N个实验呢？如果一个用户请求同时进行N个实验，我们怎么排除这些实验之间相互干扰？答案就是使用正交实验

假如我们要做一个关于UI界面的实验。实验1为将按钮的颜色设置为红色（20%流量）和蓝色（80%流量），实验2将页面背景设置为白色（50%流量）或黑色（50%流量），正交实验如下图所示

可以看到，我们只要将实验1的用户像洗牌一样重新打散，均匀地分布在实验2里面，就可以消除实验1对实验2的影响。同时，每个用户请求是同时进行进行2个实验的（按钮为红/蓝，背景白色/黑色）。利用正交实验，我们的每个实验都可以利用到全部的流量。

那么我们怎么将实验1的用户均匀地分布到实验2呢？答案就是在hash的时候加一个前缀。例如通过使用函数 hash(实验ID+用户ID)%1000，将（实验1的ID+用户ID）取模1000后小于200的用户的按钮颜色设置为红色，大于等于200的设置为蓝色，同时，将（实验2的ID+用户ID）取模1000后小于500的用户背景设置为白色，大于等于500的用户背景设置为黑色即可。这就是正交实验。

三. 谷歌分层重叠实验框架

在正交实验的基础上，通过对流量的切割，以及分层重叠嵌套，便可设计出更为灵活的AB实验框架。

首先介绍3个概念

1） domain：全部流量被切割之后的一段流量

2）layer：在layer里面包含一系列可以改变的参数。例如上面的实验可以分成2个layer，layer1对应实验1，layer2对应实验2。

3）experiment：在layer里面可以添加桶，例如通过 hash(layerId + userId)%1000 , 然后把实验放入桶中。

1个domain可以有多个重叠的layer，1个layer反过来也可以嵌套多个domain，实验最终落入到layer里面的bucket里面。

以下面两个图为例，假如用户流量是从上往下流进来的

在(a)中，只有1个domain，domain里面嵌套了3个layer。当用户请求过来的时候，会依次经过UI Layer，Search results layer和Ads result layer，在各个layer里面通过 hash(layerId + userId)%1000 映射到对应的桶取出相应的experiment。因此1个用户请求最多会同时进行3个实验

在(b)中，流量被切割成2个domain，1个domain只有1个layer，另一个domain有3个layer。当用户请求被分配到domain1的时候，最多将会进行1个实验，当用户请求被分配到domain2的时候，用户最多将会进行3个实验。

利用这个思想，我们便可以设计更为复杂灵活的AB实验框架，如下图所示

值得注意的是，各个layer之间的实验是要独立的。例如layer1中的实验是设置按钮为白色和黑色，layer3的实验是设置按钮为白色和红色，这样的两个layer之间就不是独立的了，那么正交性就会遭到破坏。需要特别注意这一点。

四. 总结

以上便是本文所有内容，更多具体细节可查看论文《Overlapping Experiment Infrastructure:More, Better, Faster Experimentation》。如果有问题或错误，欢迎随时联系~

本人微信公众号为“推荐算法学习笔记”，定期推出经典推荐算法文章，欢迎关注。