1 AB测试的原理

AB测试是借鉴了实验的思维，目标是为了归因。

通俗来说，就是我们想把条件分开，明确的知道，哪种条件下，用户会买账。这就需要三个条件：有对照组，随机分配用户，且用户量足够。

2 AB测试的来源

最早的AB测试本身是起源于医学。

当一个药剂被研发后，医学工作人员需要评估药剂的效果。一般就会选择两组用户（随机筛选的用户），构建实验组和对照组。用这两组用户来“试药”。也就是实验组用户给真的药剂，对照组用户给安慰剂，但是用户本身不知道自己是什么组，只有医生指导。之后，在后期的观察中，通过一些统计方法，验证效果的差异性是否显著，从而去校验药剂是否达到我们的预期效果。

3 互联网中的AB测试

当互联网中需要确认的是，当前改版，是否有效果时，我们就需要进行AB测试了。

业务把将web或者app界面或者流程，拆分为多个版本。然后将流量分层（或者分流），不同的人群使用的某个功能或者触发的策略不同。

注意：
这里的人群一定要满足同质化的特性。
所以无论分层还是分流，我们都需要将用户随机分配，且同一用户不能处在两个组内。

通俗来说，AB测试是一种互联网人口红利减少的背景下，为了提高用户满意度，留下用户而使用的一种利用数学原理来精细化运营的评估方法。

4 AB测试适用场景

可以使用AB测试的场景：

产品迭代可以使用AB测试。比如界面优化，功能增加，流程增加，这些都可以使用AB测试。因为我们是在原有基础上做一定更新迭代，可以直接使用AB测试。
算法优化可以使用AB测试。同理，算法筛选，算法优化这些我们都可以使用AB测试来测试。因为我们也可以通过流量切分构造实验组和对照组来验证效果。
市场营销的部分场景可以使用AB测试。内容的筛选，时间的筛选，人群的筛选，我们也可以使用AB测试来实验验证效果。

不可以使用AB测试的场景：

变量不可控。比如我们业务有两个APP，我们想做一个策略，验证是否能够提高用户使用了A产品，再去使用B产品的概率。这种是不支持AB测试的，因为用户关闭一个APP后，非常多的不可控因素。
样本量较小不支持AB测试。因为从统计学上来说，我们要验证一个数据是否有效，还是需要一定的样本量的。关于样本量的计算，我们在下一篇来讲。
至于全量投放，不用AB测试。比如我们开了一个发布会，换了一个logo，这种全量投放，怎么做AB测试？你可以让用户不来参与发布会还是让用户不看到新logo？！

5 AB测试流程

一般来说，产品的优化迭代流程上分为三个阶段：

1、随着业务的发展，我们萌生了优化迭代的思考和想法，并落地成为具体的PRD或者其他需求文档；
2、有了需求文档，我们需要将需求开发生产，然后上线验证实际效果是否符合预期；
3、如果效果符合预期，那么我们则落地实施，如果不符合预期，就再次优化迭代。

AB测试在这个流程中，主要负责第2步，也就上线验证优化迭代这一步。
通常来说，我们可以将AB测试分为三个部分：实验前，实验中，实验后。

实验前：
我们需要确认AB测试的内容，是产品迭代还是算法优化。根据具体的的AB内容，选取相应的指标，并根据指标，选取实验单位后计算最小样本量，计算实验所需要的时间。总结来说就是：定指标，选单位，算时间。

实验中：
在这一步，我们需要将用户打散后打标，并根据最小样本量进行流量切割，上线实验。上线试验后，我们还需要验证实验策略是否符合预期，以及要保证一个用户只能在同一个分桶内，不会同时出现在多个分桶中。总结来说，筛用户，验策略，保唯一。

实验后：
在这里，我们需要验证实验是否有效，也就是流量配比是否符合预期。如果符合预期，我们则进行检验推断，检验实验指标是否有显著差异。最后再和业务商定后决定后续迭代方向。总结来说，验比例，做推断，定迭代。

这就是整体的AB测试的三个部分，以及每个部分中需要做的重点事情。

6 知识点总结

1、AB测试来源于医学的双盲实验，主要为了验证我们的改进是否有效果而进行的一个较为科学的检验方法。

2、AB测试适用于产品迭代，算法优化，以及一些市场营销的场景；但是如果我们的变量不可控，或用户量不足以支撑我们进行AB测试，或策略是全量投放时，我们不能进行AB测试。

3、AB测试可以分为实验前，实验中，试验后三个板块。实验前定指标，选单位，算时间；实验中筛用户，验策略，保唯一；实验后验比例，做推断，定迭代。

AB测试的来源及适用场景相关推荐

AB测试：基础概念、应用场景及入门指南
01 AB测试是什么互联网行业变化很快,很多产品的迭代速度都是按周甚至是按天来的.无论是产品的优化方向,还是决策的制定,都需要有数据来说话. 目前,大部分产品迭代的方式,是直接将某版本发布给全部用户 ...
多场景业务实战-AB测试实战(数据分析干货!!!!!)
AB测试实战学习目标掌握如何设计AB测试 AB测试效果如何解读掌握如何进行实验设计与效果计算 1.AB测试介绍很多网站/APP的首页都会挂一张头图(Banner),用来展示重要信息,头图是否吸 ...
蓝绿部署、金丝雀发布（灰度发布）、AB测试……
点击关注公众号,Java干货及时送达来源 | https://www.jianshu.com/p/0df88fe4a1e3 随着微服务架构的普及,线上服务越来越多,随之而来的就是部署越来越频繁:随着 ...
mysql的ab测试工具_轻量级性能测试工具ab / wrk / locust 分析对比
很早前,介绍过4款压力测试工具今天再推荐下两款更强大的. 1. ab 是目前最常见的压力测试工具.其典型用法如下: shell> ab -k -n 1000 -c 10 -t 100 http ...
算法效果AB测试中的PV-UV不对称性
算法效果的AB测试,是指在相同的应用场景下,对比不同算法的效果.通常的做法是,按照PV或UV随机分配流量到算法上,计算算法的CTR或转化率进行对比.为了表述简单,我们假设参与对比的算法有两个,比较的指 ...
第八章流量复制/AB测试/协程
流量复制在实际开发中经常涉及到项目的升级,而该升级不能简单的上线就完事了,需要验证该升级是否兼容老的上线,因此可能需要并行运行两个项目一段时间进行数据比对和校验,待没问题后再进行上线.这其实就需要进 ...
「原理」AB测试-详细过程和原理解读
这篇我们来详细讲讲AB测试的原理和具体的过程. AB测试原理简介 AB测试最核心的原理,就四个字:假设检验.检验我们提出的假设是否正确.对应到AB测试中,就是检验实验组&对照组,指标是否有显著 ...
训练集山准确率高测试集上准确率很低_推荐算法改版前的AB测试
编辑导语:所谓推荐算法就是利用用户的一些行为,通过一些数学算法,推测出用户可能喜欢的东西:如今很多软件都有这样的操作,对于此系统的设计也会进行测试:本文作者分享了关于推荐算法改版前的AB测试,我们一起 ...
python 数据逐个验证_案例实战 | Python 实现 AB 测试中常见的分层抽样与假设检验 (附代码和数据集)...
在这里插入图片描述作者 l 萝卜本文会将原理知识穿插于代码段中,相关代码和数据集可在公众号 " 数据分析与商业实践 " 后台回复 " AB测试 " 获取. ...
蓝绿部署、红黑部署、AB测试、灰度发布、金丝雀发布、滚动发布的概念与区别...
蓝绿部署.红黑部署.AB测试.灰度发布.金丝雀发布.滚动发布的概念与区别版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/wangyinghong_2 ...

AB测试的来源及适用场景