什么是AB实验？能解决什么问题？终于有人讲明白了
导读：走向身边的AB实验。
作者：木羊同学
来源：大数据DT（ID：hzdashuju）
“AB实验”是一个从统计学中借来的工具。我和大家一样，每次只要看到“统计学”这三个字，下意识就觉得这事和我没啥关系，然后手就忍不住想要点击下一条文章。不过且慢，开篇我说AB实验是一个从统计学中借来的工具，借来给谁用呢？给我们自己用。所以下面不会介绍太多的统计学知识，主要讲讲AB实验能和我们发生怎样的故事。
01 什么是AB实验
开始之前总得介绍两句什么是AB实验。简单来说，AB实验就是“对照”，过程分三步：首先设置实验组和对照组，然后用一段时间来收集数据，最后比较二者的不同效果。所以，AB实验也叫“对照实验”。
临床医学上有个词叫双盲测试，随机将病人分成两组，分别服用实验药品和安慰剂，经过一段时间后比照两组的治疗效果。这就是AB实验的最早来源。
这些都是很熟悉的词，原理也不复杂，相信大家都理解了什么是AB实验。不过，这里有个陷阱。如果真的以为AB实验只能用于在实验室里做实验，是那些穿白大褂的人才需要关注的事，那就被名字给骗了。
AB实验远不止于实验。AB实验有两个核心价值：定性因果和定量增长。这两个词可能过于正式，我觉得不妨换另外四个字概括，那就是“减少争执”。
02 争执之源
我们都不喜欢争执，但我们又都免不了争执，究其原因恐怕是观点难免存在冲突。拿件具体的事说吧，现在准备开发一款产品，开始大家目标很一致，那就是成功。不过，接下来分歧就来了。什么样的产品才能取得成功呢？众多纷纭，大家心目中的成功产品都不一样，甚至还有矛盾之处，然后就开始了争执。
我们经常能看到一些分析，说某某产品的成功因素是什么什么，感觉这个时代已经把通往成功的道路都统统标绘了出来，或者干脆就有一本《成功字典》，要成功只要照着查就行。
但是，事实真的如此吗？市场不断推出新的产品，许多最终都不怎么成功。虽然老话常说“失败是成功之母”，不过，应该没有哪个产品是抱着给成功当妈的决心推出市场的。既然大家都想成功，似乎大家也都知道该怎么成功，那为什么还会失败呢？
失败如果没有立即失业，那么通常是要开一个总结会的，总结一下到底是什么原因导致了失败。失败的总结会是很不好开的，开着开着可能就变成各个部门扯皮推诿。那么，成功的总结会好不好开呢？也不好开，不同部门也会各自邀功，都说这次的成功主要是自己某某工作的结果。
什么导致失败，什么导致成功，这些都是定性因果。如果再在定性因果上加上量的变化关系，譬如说已知因素A导致因素B，现在A增加了5个单位，想要知道B能增加几个单位，这就是定量增长。
定性因果和定量增加都是企业关注的问题，特别是现在都在提企业数字化转型，如果各条业务线都能建立量化因果模型，那么，接下来用数据驱动增长自然水到渠成。
但是，这很不容易，定性因果首先就很不容易，而且很容易成为争执的源头。企业都开总结会，但是不同人不同部门总结的因果关系很可能都不一样。同一个产品成功了，甲部门说是因为A、B、C三点，乙部门说是因为D、E两点，又说要不是因为有C，结果还会更好一些。
大家观点不一样，甚至还有冲突，结果自然只能争执，一旦牵扯了部门利益，要找到一个大家都能接受的观点就更不容易——再说了，大家都能接受就表示是正确了吗？
03 选择之困
总结因果当然不仅仅只是为了总结因果，还将影响一个更大的问题，那就是选择。做一款产品有很多的环节需要我们选择，如果还是重要环节，那我们要做的选择就叫做重要决策。决策的好坏，可能直接决定了这款产品的生死。
据说很多现代人都得了一个不是病症的病症，叫选择困难症。选择困难吗？困难，也不困难。在游戏里面，每一个选项后面都标识了效果，譬如说这个加3点攻击力，那个加1点生命值，选了之后有哪些效果一清二楚。
可惜，现实不是这样的，选项后面可没有那些闪闪发光的标记。当然，我们还是会想知道该怎么选，也想出了一些办法，主要来说有两种。一种叫集思广益，让大家来选。召开一个讨论会让大家发表意见，不过，原意是想从四个选项中选一个，结果经过一番唇枪舌战，选项又多了三个。
况且，对于产品设计来说，人多并不意味着正确。有一个词叫“委员会设计”（Design by committee），听起来像是夸奖，但其实是个贬义词。一个产品为了妥协多方意见，最终导致臃肿不堪，我们就会把它称为委员会设计。
类似的案例有很多，有时你会遇到一些产品，设计杂乱无章，看起来像是铁了心要得罪评审老师的毕业设计，但一看名字居然是出自某个知名大企业，不用感到太过意外，也许你遇到的就是“委员会设计”。
那另一种方式就是叫领导拍板，让领导来选。这里的“领导”不只是行政上的领导，也包括权威专家。领导知道的总是要多一点，是不是总结因果的水平也更高一些呢？
不能说错，但肯定不对，因为天才也是会犯错的。譬如说乔布斯，最初iMac在选择外壳时有几种方案，其中一种是采用半透明塑料制作，样子非常好看，但成本是其它的三倍。大家都反对，乔布斯力排众议选择了这个方案，最终iMac大获成功，还奠定了苹果“设计优先”的传统。
这似乎是一个领导拍板的成功案例。不过，我们反过来想一下，假如iMac最终惨败收场，事情会变成怎样呢？后人再说这件事的时候，就变成了乔布斯“一意孤行”，大家已经正确预判到了结果，但他置若罔闻，最终翻车也就理所当然。
这并不完全是假设。了解的同学应该知道，苹果也好乔布斯本人也好，都是狠狠地翻过几次车的，原因正是乔布斯“一意孤行”。读到这里我总是会想，“力排众议”和“一意孤行”有没有可能说的根本就是同一件事。不过无论怎样，哪怕领导水平真的很高，交给领导选择也未必就能十拿九稳。
04 事实之选
交给大家来选不行，交给领导来选也不行，难道就没有更科学的方法了吗？有的，就是AB实验，交给事实来选。
前面我们说AB实验能减少争执，为什么？因为有一句话叫“事实胜于雄辩”。你说A是成功因素，那么好，我们就来做实验，一组有A一组没A，看看最后哪组的效果好。如果事实证明没A的效果更好，那应该也没谁愿意再花口舌去争论了。
选择也一样。领导不一定是对的，大家也不一定是对的，但事实一定是对的。把选择权交给事实，结果也许不一定符合期望，但一定符合事实。
Bing是一家知名的搜索引擎，搜索引擎是靠用户点击广告获得收益。某天一位员工提出“将标题下的第一行文字合并到标题行，形成长标题”能够增加用户点击率，这条建议实在过于无厘头，大家纷纷打出了“哈哈哈”表示不信。不过，Bing最终还是抽空真的试了试，结果效果拔群。这就是事实。
AB实验绝不仅仅只是实验室里白大褂们的专利，有着更为广阔的应用空间。当然，AB实验既然来自统计学，免不了有很多复杂的因素影响结果的客观，而AB实验作为实验，自然还有很多现实的情况需要加以考虑，怎样组织AB实验又是另一件不亚于选择的头疼事情。我推荐看一本书《AB实验》，更系统地了解AB实验方方面面的内容。
关于作者：莫凡，网名木羊同学。娱乐向机器学习解说选手，《机器学习算法的数学解析与Python实现》作者，前沿技术发展观潮者，擅长高冷技术的“白菜化”解说，微信公众号“睡前机器学习”，个人知乎号“木羊”。
延伸阅读
01 背景 随着互联网公司的产品和业务越来越多样,利用数据来驱动业务决策成为必然,而AB实验正是以数据指标来判断产品功能和运营策略迭代效果的方法和工具,其可以在保证样本同时性和同质性基础上,对比两个或 ... 作者简介 Will Wang,携程技术专家,负责AB实验分流和其他数据智能项目的开发.关注大数据和分布式方面,会做一些深入的开发部署和结合业务数据的基准调试工作. 一.背景 携程是业界比较早进行AB实 ... 分享嘉宾:钱橙 腾讯 高级数据研发工程师 编辑整理:Theodore 厦门大学 出品平台:DataFunTalk 导读:大家好,我是来自腾讯看点数据平台中心的钱橙,之前主要负责看点内部AB实验平台的建 ... 文章目录 0. 常考问题 1. A/B测试的基础知识 1.1 总体流程 1.2 数据准备 1.3 aa实验 1.4 ab实验 1.5 独立样本t检验 1.6 简单的ab实验代码 2. A/B测试的进阶 ... 来源:DatafunTalk 导读:实验分析是决定整个实验最终结论产出的环节,相比于分析业务报表,对于实验结果的解读需要我们更多的挖掘以及归因,所需要的方法论和分析手段也更多.这里我将我们在实验分析中 ... 1 为什么要做A/B实验? A/B实验,是一种验证假设的方法,其核心方法及原理分别是对照实验及假设检验. 在实际实验时会从总体抽取部分个体组成样本单位,并从个体实验结果推断总体结果. 1-1.实验原因 ... 如果你对数据分析感兴趣,希望学习更多的方法论,希望听听经验分享, 欢迎移步公众号「小火龙说数据」,更多精彩原创文章与你分享! 「经验」带你掌握AB实验最佳流程https://mp.weixin.qq. ... 实验原理 假设检验的目标是拒绝原假设,它的核心是证伪.先假设原假设成立,然后计算原假设反面出现的概率,如果概率较大,则证明原假设不成立. 对于 A/B Test 来说, p值是在实验组和对照组没有差别 ... 效果回归本质上属于统计学中的因果推断(Causal Inferences)问题.在统计科学中,因果 推断要解决的本质问题是剥离(或者说量化/控制)我们所不关心的外部协变量对结果的 影响,从而精准捕捉到 ...什么是AB实验？能解决什么问题？终于有人讲明白了相关推荐
最新文章
热门文章