一文带你学会AB实验最佳流程

如果你对数据分析感兴趣，希望学习更多的方法论，希望听听经验分享，

欢迎移步公众号「小火龙说数据」，更多精彩原创文章与你分享！

「经验」带你掌握AB实验最佳流程https://mp.weixin.qq.com/s?__biz=MzkxNzMwNTEwNQ==&mid=2247488606&idx=1&sn=f2bbe3a7d9e51edcf6ad4e349339e994&chksm=c143f620f6347f360bdfff32cda9e1780620d1d16e57f9e5bb13713d666a30b5bbe8d93c3ec2&token=1957294509&lang=zh_CN#rd

01 最佳AB实验流程

科学的实验流程主要包括七个步骤，下面会详细介绍每一步的核心内容。

02 步骤一：实验设计阶段

1、创建实验假设「TO：产运」

在开始实验之前，产运同学需要对实验做最初的假设，这也将作为整个实验围绕的核心点。

建立假设需涵盖以下几步：

1、明确原则：为更科学的设计实验，需满足AB实验设计的原则。

2、明确背景：实验背景是设计实验的前提，例如：目的是提升用户留存，则整个实验思考的方向，均需要围绕此背景进行。

3、探索改进点：根据历史数据以及产品经验判断，哪些改动可能对用户产生积极影响。针对发现的改进点，形成一个「逻辑完整 + 数据支撑 + 可验证」的假设。

4、筛选实验对象：实验是对全量用户生效，还是仅针对部分标签用户？实验单元是用户、会话、还是页面？需要有一个明确的定位。

5、预估实验影响：实验可能对哪些核心指标有影响，大概的影响程度有多大？与业务长期目标是否可以达成一致？

2、明确实验类型「TO：数分」

实验根据流量关系，可以划分为「正交实验」以及「互斥实验」。

正交实验：指实验之间互不干扰，可以复用相同的流量，只要保证各实验用户是随机分布即可，也就是我们日常经常接触的「常规AB实验」。

互斥实验：指的是实验之间会相互干扰，X实验和Y实验之间会出现冲突的情况。

举个栗子
针对福利策略实验：
A实验：实验桶为了验证「发放不同现金」的效果；
B实验：实验桶为了验证「发放不同积分」的效果；
如果这个时候，希望对A实验评估，发放1元现金 vs 没有任何福利策略，
由于A实验和B实验是正交的，因此「没有任何福利策略」需要同时限定A实验的Base桶和B实验的Base桶。
这里福利实验仅有两个，如果福利实验有N个的时候，「没有任何福利策略」则很难框定，并且流量可能会很小。

这种情况可以通过「层域AB实验」来解决，即：将福利相关的实验放到一个域中开展，拨出一部分流量作为holdout组（公用Base组），其余流量实验正交。

除此之外，实验类型还包括「Interleaving实验」、「包含网络效应实验」以及「Multi-Armed Bandit，MAB实验」等。

3、筛选评估指标「TO：数分/产运」

筛选评估指标要从两个方面进行考虑：

其一：根据实验类型进行筛选。不同的实验类型对应不同的评估指标，例如：「页面优化型实验」更关注停留时长；「内容满足型实验」更关注ctr。

其二：根据度量方向进行筛选。可涵盖以下四类指标：

4、设定实验周期及流量「TO：数分」

实验周期和流量的设定是个权衡的问题，一方面，我们希望有足够多的流量，保证实验策略可以充分体现出来；另一方面，也希望缩短实验周期、提升迭代效率、降低实验风险。

因此在评估流量的时候，我们需要计算，在满足评估的前提下，获取最小的样本量。一般在评估的时候，会根据统计功效、显著性水平、相对差异、最小可检测效果，利用公式反推实验的最小样本量。并且「均值类指标（如人均时长）」「用户比例类指标（如UTR）」「比率类指标（如CTR）」「求和类指标（如pv）」计算最小样本量的方式是不同的。

在评估流量和周期的时候，有两点需要格外注意！！！

其一：周期效应。考虑到用户在周中和周末的表现存在差异，因此实验周期最好跨越一周，消除不同时间周期实验效果的不同。

其二：新奇效应。策略的调整对于用户而言，是从陌生到熟悉的过程，而在陌生阶段，往往会有一些不真实的表现，因此最好等实验指标趋于平稳之后再进行评估。

完整内容请点击下方链接观看哦，希望能对你有所帮助~~

以上就是本期的内容分享

如果你也对数据分析感兴趣，更多「原创」文章，与你分享！！

微信公众号：小火龙说数据