1.互联网AB测概述

1.1 什么是AB测

AB测是同时进行多个方案并行测试，但是每个方案仅有一个变量不同，然后以某种规则优胜劣汰选择最优的方案。示例：在互联网新功能上线前，为该功能制作两个或多个版本页面同步测试。让用户随机访问不同版本，通过统计学优化方法观察数据指标的具体表现，判断哪种更符合用户的习惯与需求。

1.2 AB测的作用

通过控制变量，衡量并量化收益，获得功能迭代和收益的因果关系，促进产品的快速迭代。

1.3 AB测主要框架

框架架构	关键词	Q&A
流量分配	对照、随机抽样、大样本、域/层/桶	Q：哪些抽样方法？A：分层抽样；正交抽样 Q：抽样均衡？A：定期监控；更优hash算法（e.g.murmur）；通过大量计算换取均衡 Q：域层桶的概念？A：域：是指整体流量的分区，域间是互斥的；层：是指某个域内全部流量的一个观测角度，按照某种方法对域进行划分，层与层之间正交，即彼此互不影响，相互独立；桶：使用独立的Hash函数对用户进行取模，将用户均匀的分配至N个实验桶中，桶与桶之间是互斥的
埋点日志	行为日志打点	-略
指标选取	核心指标、辅助指标、风险指标	Q：什么是指标？A：有业务意义，能描述业务变化与趋势的数据 Q：核心，辅助，风险指标是什么？A：核心为实验本身假设想影响的指标，辅助指标用于对整体用户体验判断，风险指标兜底，后两者原则不能降 Q：如何选取？A：贴近业务目标；关注用户体验反馈；关注指标时间周期相关性等 Q：用日人均还是累计人均？A：日人均可以更容易观察趋势变化，和天级OKR对齐；累计人均可以消除非独立带来的干扰；

2.AB测实验设计与分析流程

由于本人是数据分析挖掘相关从业人员，这里我从工作经验中聊一下我所认为的较为科学的ab测流程。

实验与分析设计：探讨确认需求上下文并共同参与实验设计。当分析目的明确后，需要对思路进行梳理分析，并搭建分析框架，需要把分析目的分解成若干个不同的分析要点，也就是说要达到这个目的该如何具体开展数据分析？样本量怎么划分？需要从哪几个角度进行分析？采用哪些分析指标？采用哪些逻辑思维？运用哪些理论依据？埋点是否能支持分析？

确定流量 + 前期空转：之所以有AA前期空转，主要是为了判断抽样的随机性，此外还可以对ab指标进行进一步的修正。

实验初期观察（1~3d）：（1）主动使用不同功能（2）确认实验配置和打点是否有问题，便于及时发现问题

实验后期反馈（7d）：数据分析，评估方与产品放一起对相关数据指标进行解读。

报告撰写：通过报告，把数据分析的起因、过程、结果及建议完整地呈现出来。

*深入思考*：实验成功了，需要进一步思考：它有没有进一步优化的可能？是否能推广到公司相似产品中？而失败了也需要思考是否有提升自己的认知或有什么经验总结，从而形成闭环。

3.注意事项

注意初期观察需要及时，防止产品bug带来数据异常
看起来异常奇怪的数据一般都是错的
关注用户session
正收益难以拿到

【数据科学】一篇文章看懂A/B测相关推荐

25q64存储多个数据_一篇文章看懂，存储虚拟化在不同用例中的实践与优势
存储虚拟化是一种对物理存储资源进行抽象的技术,使其看起来像是一个集中的资源.虚拟化掩盖了管理内存.网络.服务器和存储中资源的复杂性. 存储虚拟化运行在多个存储设备上,使它们看起来就像一个单一的存储池. ...
c++ socket线程池原理_一篇文章看懂 ThreadLocal 原理，内存泄露，缺点以及线程池复用的值传递问题...
编辑:业余草来源:https://www.xttblog.com/?p=4946 一篇文章看懂 ThreadLocal 原理,内存泄露,缺点以及线程池复用的值传递问题. ThreadLocal 相信不 ...
一篇文章看懂：量化交易
什么是量化交易? 度娘官方版 - 理论这么说量化交易是指以先进的数学模型替代人为的主观判断,利用计算机技术从庞大的历史数据中海选能带来超额收益的多种"大概率"事件以制定策略,极大 ...
一篇文章看懂@Scheduled定时器/@Async/CompletableFuture
一篇文章看懂@Scheduled定时器/@Async/CompletableFuture @Scheduled注解解析: 1.cron:最重要的一个参数 cron表达式[秒] [分] [小时] [日] ...
一篇文章看懂MySQL的多表连接（包含左/右/全外连接）
MySQL的多表查询这是第二次学习多表查询,关于左右连接还是不是很熟悉,因此重新看一下.小目标:一篇文章看懂多表查询!! 这篇博客是跟着宋红康老师学习的,点击此处查看视频,关于数据库我放在了Gith ...
一篇文章看懂变量提升(hoisting)
文章转自:一篇文章看懂变量提升(hoisting) - 知乎前沿大家对变量提升(hoisting)一定不陌生了,这篇文章希望可以建立一个系统的规则,以后碰到变量提升,可以重新看这篇文章,根据文中的 ...
一篇文章看懂makefile编写规则
该篇文章为转载,是对原作者系列文章的总汇加上标注. 支持原创,请移步陈浩大神博客:(最原始版本) http://blog.csdn.net/haoel/article/details/2886 我转自 ...
Java读取excel的方式，一篇文章看懂(详细)
目录一.excel读取的两种方式 1.1 jxl 和 poi 的区别和选择二.jxl 的使用 2.1 导入相关依赖 2.2 操作三.poi 的使用 3.1 导入相关依赖 3.2 操作四.总结 ...
一篇文章看懂大数据的5大关键技术
大数据技术,就是从各种类型的数据中快速获得有价值信息的技术.大数据领域已经涌现出了大量新的技术,它们成为大数据采集.存储.处理和呈现的有力武器.大数据处理关键技术一般包括:大数据采集.大数据预处理.大 ...

【数据科学】一篇文章看懂A/B测