测试方案_何小伟：ABTest测试方案

一.什么是ABTest测试

ABTest的目的和意图是判断哪种种UI或rerank策略更优，通过事实的依据( CTR或下单率/成交量.....)判断哪种策略更符合用户的习惯和需求，多用于产品发布时的最优策略。所谓(A/BTesting)测试，简单来说，就是为同一个目标制定两个方案(比如两个页面)，让一部分用户使用A方案，另一部分用户使用B 方案，记录下用户的使用情况，看哪个方案更符合设计目标。

二.AB测试的周期？

试验的周期一般是7天，覆盖周末和周中的用户行为。对于复杂一些的测试，可以跑2周甚至1个月。还有一个办法，就是看试验结果的置信区间的收敛速度，如果置信区间达到3%-5%已经可以决策了，就可以停止试验了。正常情况下，我们需要大流量试验来验证大型新功能，比如新推荐算法，新学习模型，新聊天功能。然后我们可以同时用流量分层的方法做很多很多小试验，比如改UI改文案，看看有什么改变能带来用户转化的提升。同时跑10个以上的试验很正常，这种并行决策实际上大幅度提高了产品优化效率，而不会延缓迭代。

三.总结

合理运用灰度发布和A/B测试，对于测试来讲，是必须要掌握的核心技能之一，我们每天都在研究、体验、设计产品，有时会想当然的觉得这个流程不复杂，这个操作很简单，用户应该上来就会用，不知不觉间就把我们思维强加给了用户。细节决定成败早已不是空谈，对于任何可能影响到用户体验的地方，都应该防患于未然。

上一篇：Android常见安全漏洞汇总

下一篇：测试面试常问的问题

测试方案_何小伟：ABTest测试方案相关推荐

计算机专业大学活动,计算机专业大学生活动策划方案_旅游专业大学生活动策划方案.doc...
计算机专业大学生活动策划方案_旅游专业大学生活动策划方案计算机专业大学生活动策划方案_旅游专业大学生活动策划方案大学生活动策划方案一活动背景: 在当今瞬间万变的信息社会里,电脑已经溶入到我们生活 ...
测试方案_在线式UPS电源测试方案
UPS是一种含有储能装置的恒压恒频的不间断电源.以工作方式来区分可分为后备式.在线式两大类型. 在线式UPS将市电输入整流稳压成直流,给蓄电池组充电,同时由逆变器输出交流电给用电设备.当市电断电时,无 ...
安卓查看内存读写测试软件_装机小贴士：内存双通道重要吗
内存通常和CPU.硬盘被统称为电脑硬件"三大件",其重要性可见一斑. 作为直接和CPU进行沟通的桥梁,内存的性能直接影响了电脑的整体速度.简单来说,电脑的工作逻辑是每次数据处理任务 ...
esp8266电池供电方案_节能小妙招，8个太阳能供电案例抢先围观
太阳能(solar energy),是指太阳的热辐射能(参见热能传播的三种方式:辐射),主要表现就是常说的太阳光线.在现代一般用作发电或者为热水器提供能源.自地球上生命诞生以来,就主要以太阳提供的热辐 ...
monkey命令_何小伟：Monkey与MonkeyRunner区别
为了支持黑盒自动化测试的场景,Android SDK提供了monkey和monkeyrunner两个测试工具,这两个测试工具除了名字类似外,还都可以向待测应用发送按键等消息,往往容易产生混淆,以下是他 ...
后端需要掌握的技术_何小伟：软件测试需要掌握的技术？
软件测试需要掌握的技术有哪些?如果要做一名让开发人员佩服的测试人员,需要掌握的技能. 1)编程语言至少要掌握一门语言,不管是简单的php,java,还是C++也好,或者其他的脚本语言python,p ...
junit编写测试代码_编写数据访问代码测试-不测试框架
junit编写测试代码当我们向数据访问代码编写测试时,是否应该测试其公共API的每种方法? 一开始听起来很自然. 毕竟,如果我们不测试所有内容,那么如何知道我们的代码可以按预期工作? 这个问题为我们 ...
weka使用训练集分类测试集_科学网—使用独立测试集对分类模型进行评估 - 李向东的博文...
这两天还是纠结于分类模型的准确率.因为对从网上随机摘录的文本进行分类时,结果总是不甚理想,不像使用cross-validation得到的结果那么好. 于是决定使用独立测试集(含1402个实例)进行评估 ...
system类的静态方法可以启动垃圾回收器。_跟小伟一起学习类加载机制
我们在学习 java 基础的时候,从宏观上了解了一个类到运行大致是:.java文件通过javac编译器编译得到.class文件,在用到该类时,jvm 会加载该 class 文件,并创建对应的 clas ...

测试方案_何小伟：ABTest测试方案

测试方案_何小伟：ABTest测试方案相关推荐

最新文章

热门文章