机器学习面试题集 - 如何进行 A/B 测试
https://www.toutiao.com/a6699055831033315847/
2019-06-05 22:38:20
- 什么是 A/B 测试？
- A/B 测试什么时候用？
- 如何应用 A/B 测试？
什么是A/B 测试
A/B 测试是最简单的对照实验方法，可以用来对产品的两个版本进行比较。
将用户随机分成两组，这样两组数据可以来自同一分布。
一组叫做对照组，使用产品的旧版，一组叫做实验组，使用产品的新版。
两组同时做线上测试，然后采集指标，分析结果，
什么时候需要用到A/B 测试
当要决定一个产品或者新功能是否真的可以上线时，就要做A/B 测试，我们要看这个新的产品或者新的特征是否会对一些商业指标产生影响，A/B 测试的结果决定了产品是否可以上线。
当产品模式比较成熟，进入快速迭代的阶段时，用
A/B 测试的效果比较明显。
如何应用A/B 测试
A/B 测试的一般流程为：
- 首先明确需要进行测试的特征是什么
- 然后要正确的定义指标，比较常见的重要的指标如点击率，转化率，例如，我们想看如果把某产品主页上免费体验会员的按钮颜色由红色改成绿色，是否会增加转化率。
- 做出假设，例如按钮由红色变成绿色，会有更多人愿意点击
- 设计测试计划，包括提升目标，测试的系统，地点等等。
- 相关部门沟通协作，比如要改界面需要和UI工程师沟通。
- 运行测试方案
- 分析测试结果，看数据结果对不对，评估指标有没有变化，有没有达到显著性水平，对其他指标有没有影响
- 得到结论，例如点击率提高了多少，转化率提高了多少，而且对其他的特征没有影响，然后制定相应的商业计划。
用一个具体例子来看：
例如 A 组有 2000 个样本，有200个样本转化，
B 组有1943个样本，有298个样本转化，
我们希望达到的 Confidence level 是95%，
希望 significance 是0.03。
首先计算A和B的转化率：
Pa=200/2000=0.1,
Pb=298/1943=0.153
再计算一下 difference=0.153-0.1=0.053
然后计算 standard error=0.0106
根据公式计算它的 Confidence Interval=(d-m, d+m)=(0.0326, 0.0741）
0.0326>0.03
那么就可以上线这个功能。
学习资料：
《百面机器学习》
https://youtu.be/u4YnEczu_OE
https://youtu.be/YJeWrniW48k
机器学习面试题集 - 如何进行 A/B 测试相关推荐
- 机器学习面试题集(个人疑惑的题)
找工作一直在找机器学习的岗位,最近在博客上看到一些面试题,做了一下,对自己不懂的地方做了一些总结: 1. 假设X公司的员工收入分布中位数为$35,000,25%和75%比例处的数值为$21,000 和 ...
- 机器学习面试题集 - 详解四种交叉验证方法
https://www.toutiao.com/a6701090733618627076/ 本文结构: 什么是交叉验证法? 为什么用交叉验证法? 主要有哪些方法?优缺点? 各方法应用举例? 什么是交叉 ...
- 机器学习面试题集-图解准确率，精确率，召回率
https://www.toutiao.com/a6692359723615781389/ 今天进入第二章:模型评估 1. 什么是模型评估 模型训练后要对其进行评估,看模型表现如何,哪里可以改进 分类 ...
- 测试面试题集-MySQL数据库灵魂拷问加强版
VOL 168 22 2020-10 今天距2021年70天 这是ITester软件测试小栈第168次推文 点击上方蓝字"ITester软件测试小栈"关注我,每周一.三.五早上 0 ...
- 华为C语言面试题集 C语言面试题-华为C语言面试题 深圳华为面试
C语言面试题 1.局部变量能否和全局变量重名? 答:能,局部会屏蔽全局.要用全局变量,需要使用"::" 局部变量可以与全局变量同名,在函数内引用这个变量时,会用到同名的局部变量, ...
- 测试面试题集-UI自动化测试
VOL 165 16 2020-10 今天距2021年76天 这是ITester软件测试小栈第165次推文 点击上方蓝字"ITester软件测试小栈"关注我,每周一.三.五早上 0 ...
- 资源 | 25个机器学习面试题，期待你来解答
资源 | 25个机器学习面试题,期待你来解答 https://www.cnblogs.com/DicksonJYL/p/9596057.html 选自Medium 机器之心编译 参与:Geek AI. ...
- 机器学习笔试题精选（一）
https://blog.csdn.net/red_stone1/article/details/80982149 机器学习是一门理论性和实战性都比较强的技术学科.在应聘机器学习相关工作岗位时,我们常 ...
- 机器学习笔试题精选（四）
https://blog.csdn.net/red_stone1/article/details/81162774 机器学习是一门理论性和实战性都比较强的技术学科.在应聘机器学习相关工作岗位时,我们常 ...
最新文章
- db 文件 加密_有人说Kettle 数据库JNDI方式数据库密码不能加密，搞他！
- Android调用浏览器打开网址遇到的问题
- ie-css3.htc参数无效,ie-css3.htc怎么用？
- Code Review 是苦涩但有意思的修行
- Centos 安装配置 vsftpd
- poj1811(pollard_rho模板)
- JavaScript中常见的字符串操作函数及用法汇总
- CI框架入门中的简单MVC例子
- 超好用的数据迁移工具
- 【学习笔记】C# 动态系统托盘图标的实现 - NotifyIcon控件
- Java基础面试题整理-50题（附答案）
- 《淘宝技术这十年》之LAMP架构的网站
- 携宠旅行逐渐成为新一代宠物主“刚需”，宠物友好型酒店呈现稀缺
- 批量导入手机通讯录_教你手机通讯录怎么批量导入联系人
- 前端在登录时如何将用户密码加密
- 114.114.114.114和8.8.8.8，哪个DNS好？
- Android设置iptable实现外网访问
- 计算机专业烧钱妈,“最烧钱”的3类大学专业排行：妈妈，我在学校真的什么都没干...
- 一分钟读懂互联网广告竞价策略
- 某意大利小哥，竟靠一个缓存中间件直接封神？