数据科学AB测试（说人话系列）
数据科学AB测试（说人话系列）
- 什么是AB测试
- AB测试的具体步骤
什么是AB测试
AB测试可以让个人、团队和公司根据用户的行为不断地改善用户的体验。比如某某互联网公司电商平台希望提高某一活动的转化率，因此为了实现这一目标对页面的整体布局进行了改动。在保证其他变量不变的情况下，我们的实验组对页面布局进行改动，对照组不对页面布局进行改动！这有点像控制变量法(狗头)。
AB测试的具体步骤
- 实验目的：通过改变操纵因子，观察操纵因子与因变量的因果关系.比如在电商平台下改变页面的布局设置对用户下单率的影响.
- 实验单元：实验中的操纵因子发生完全改变设计的对象，比如在电商平台下改变页面的布局设置对用户下单率的影响中，实验单元为打开App首页的用户.
- 操纵因子：操纵因子就是实验中所要控制的变量.
- 操纵因子水平：操纵因子在实验中设置的水平：操纵因子可能的取值。在上述的例子中：操纵因子就是是否对页面的布局设置进行了改变。同时操纵因子的数量也决定了实验组的数量.
- 因变量：在实验单元上可测量到的随操纵因子改变的变量。在上述的例子中用户的下单率就是因变量.
- 效能：由于操纵因子的变动所带来的因变量的改动。比如页面的布局设置改动的实验组比没有发生改动的对照组导致下单率提升
10%,所以10%为此次实验得到的效能.
AB测试估计最小预计提升：
在进行
AB测试之前，我们都有一个心理预期，根据实际的工作经验比如改变操纵因子大约会使得实验组比对照组提高多少效果，所以由此引出了一个概念MDE(最小预期提升).如果在实际中实验组比对照组提升的小于MDE，那么认为实验组的方案没有价值。
AB测试最小样本量计算：
AB测试最小样本量计算是在MDE的基础之上计算的。我们无法无限制的获得样本量，因为这样会给用户带来不好的体验，导致企业收入降低，由此引入最小样本量。
n=2σ2(z1−α2+z1−β)2Δ2n = \frac{2\sigma^{2}(z_{1-\frac{\alpha}{2}}+z_{1-\beta})^{2}}{\Delta^{2}}n=Δ22σ2(z1−2α+z1−β)2
Δ\DeltaΔ:样本均值预期最小提升（MDE）.
σ2\sigma^{2}σ2:样本方差.
α\alphaα:第一类错误概率.
β\betaβ:第二类错误概率.
zzz:正态分布累计概率为xxx时对应的分位数.
备注：举例说明最小样本量的计算。
我们所关注的仍然是电商平台下的页面设置的改动对用户下单率的影响。
根据我们的工作经验会知道历史上这一指标的历史数据，很容易得到历史上下单率大约为67%.我们期许的MDE为2%,样本方差的计算为：σ2=p∗(1−p)\sigma^{2} = p * (1 - p)σ2=p∗(1−p), ppp为历史数据67%.
n=2∗[0.67∗(1−0.67)](1.96+1.28)2(0.02)2n = \frac{2*[0.67*(1 - 0.67)](1.96+1.28)^{2}}{(0.02)^{2}}n=(0.02)22∗[0.67∗(1−0.67)](1.96+1.28)2
AA测试：
在进行
AB测试之前要先进行AA测试，所谓的AA测试是实验组与对照组同时上线相同的策略，用来检测不同的分组方式是否会带来实验组与对照组的差异，排除其他因素的影响来可以进行AB测试.
最后举一个例子说明AB测试假设检验的一些问题：
| 组别 | 样本量 | 下单率 |
|---|---|---|
| 实验组 | 2500 | 6% |
| 对照组 | 2500 | 9% |
对实验组与对照组的下单率进行假设检验：
检验统计量：
z=xˉb−xˉaSa2na+Sb2nbz = \frac{\bar{x}_{b}-\bar{x}_{a}}{\sqrt{\frac{S_{a}^{2}}{n_{a}}+\frac{S_{b}^{2}}{n_{b}}}}z=naSa2+nbSb2xˉb−xˉa
根据假设检验的相关步骤来来判断接受原假设还是拒绝原假设，在此就不过多赘述了。
最后祝愿各位小伙伴开心快乐，学业进步！
数据科学AB测试（说人话系列）相关推荐
- 数据科学技能测试：快来看看你能通关吗？
全文共4067字,预计学习时长15分钟 图源:race.agency 是时候展现真正的技术了! 以下是26个数据科学的问题和供参考的答案.这些问题的难度和主题各不相同,但都与机器学习和数据科学相关.不 ...
- ‘‘说人话“系列之卡尔曼滤波
本文主要对下面几篇博文进行整理 传送门 传送门 传送门 前言 牛逼的算法往往都是来源于一个很简单的思想所演化而来,如果你不了解这个思想和演化过程那就谈不上了解那个牛逼的算法 方程 详细说明 卡曼滤波可 ...
- dqn系列梳理_讲人话系列——DQN初探之2048
概述 强化学习也火了好久,最近才有空来充充电.老实说,最开始强化学习的知识点还挺多的,看了好久也没太弄清楚几个算法的关系,所以本着实践出真知的想法,找个案例做下.2048小游戏感觉本身复杂度还可以,又 ...
- arima模型_[不说人话系列]-ARIMA模型
看文献的时候看到几个统计推理的模型,想要大概了解,想做个系列,记录自己胡说八道的数理笔记过程.如有错误,感谢您指正.文前感谢冯小姐详细认真的技术援助! 1- 名称 简称:ARIMA模型 英文名:Aut ...
- 测试面试挫败_数据科学与人工智能：从承诺到挫败
测试面试挫败 I originally wrote this article to be published on Dataiku's blog here. 我最初写这篇文章要在Dataiku的博客发 ...
- 数据科学Python训练营课程:从初级到高级 Python for Data Science Bootcamp Course:Beginner to Advanced
通过代码实现.示例等,掌握您需要了解的关于Python.Pandas和Numpy的一切! 你会学到什么 通过代码实现.示例等,掌握您需要了解的关于Python.Pandas和Numpy的一切! 学习高 ...
- csv科学计数法变为普通数字_数据科学家常遇到的10个错误
作者 | 磐怼怼 来源 | 磐创AI 原文 | 数据科学家常遇到的10个错误 数据科学家是"在统计方面比任何软件工程师都要出色,在软件工程方面比任何统计学家都出色的人".许多数据科 ...
- 大数据数据科学家常用面试题_想要成为数据科学家，解决数据科学面试的简单指南...
大数据数据科学家常用面试题 Choose a job you love, and you will never have to work a day in your life. - Confucius ...
- 顶尖高手2019_2019顶尖的在线数据科学课程
顶尖高手2019 After over 80+ hours of watching course videos, doing quizzes and assignments, reading revi ...
最新文章
- 大神们请看python日期是这样转换的
- cuda nvcc版本不一致_入坑第一步：Win10安装cuda+cuDNN+TensorFlow-GPU走过的那些路
- (转)C# WebApi 身份认证解决方案：Basic基础认证
- 学习曾国藩，学做人做事学技术
- c#如何嵌套第三方程序_C＃程序演示嵌套条件运算符的示例
- JDK动态代理和CGLib动态代理简单演示
- java比对文本文件_Java编程实现比对两个文本文件并标记相同与不同之处的方法...
- Objective-C Memory Management Being Exceptional 异常处理与内存
- qtableview 查询_在QTableView中搜索/查找功能
- MIL图像库的使用——配合图像采集卡
- 仿微信朋友圈发表图片拖拽和删除功能
- 羊驼笔记：清算bot
- Unity 大面积草风吹动效果+受人物影响
- 邮件发送技巧：TO, CC, BCC（收件人、抄送、密送）
- 汉诺塔代码图文详解(递归入门)
- 矩阵的特性和运算法则
- 【转载】bat批处理教程 作者:hipi 日期:2006-11-05
- CentOS7 安装Chrome
- Verilog 语言编写 OV7725摄像头初始化寄存器库与模块的初始化
- 【论文复现3】算法2——Clustered sampling based on model similarity