ABTEST实验平台

2024-06-08 10:43:25

转贴请声明原文：ABTEST实验平台_源远流长的博客-CSDN博客_abtest平台

ABTEST实验平台

一、单层实验

一般早期的ab-test都是单层实验，逻辑非常简单，比如使用userId/deviceId做hash然后取模，将流量打在0-99，做成100份。

有如下问题:

1、扩展性差，只能同时支持少量实验。但是以数据驱动的业务，需要极快的创新速度，大量的创新需要被测试，会严重delay业务。

2、如果在单层同时进行多个实验，实验之间不是独立事件，并行的时候，同一个策略，只能进行一个实验，如果多个并行支持，无法实现。不同策略之间也有影响。

3、流量饥饿问题:假设我们整体用户要做5个实验，如果前2个实验占据了大部分的流量，后面的3个实验就有很少的流量可以供使用，甚至没有流量可用。

4、流量偏置问题:假设上游的实验把所有的年轻人都获取了，下游的实验，没有年轻人的样本。导致有偏差。

二、多层实验优势:

1、突破限制，加速迭代:以前单层最多10个组(总流量有限，分组太多会失去置信度)。现在可以无限分层，每层100%流量再分组，理论上同时在线实验组不受限；

2、层与层间流量正交，还有业务场景间也流量正交，不用担心不同场景间的abtest互相影响；

3、独立平台:除了推荐搜索业务，抽离架构依赖，独立为通用ABTEST实验平台，让其它业务都可接入

三、ABTEST实验闭环

ABTEST目的观测的指标需要多维度对比，以及观测显著性效果，用于判断是否放量、推全、下线实验依据；

原来方式是需要将数据报表打通到报表系统，在报表系统上观测数据效果，缺点就是实验策略是什么都要一一对应，链路太长，效率比较低；

后面将整个数据指标迁移到abtest实验平台，直接可以看到某个实验的实验效果数据，提高效率；

点击实验效果观测：

此处显著性需要再调整为直接给是否显著，而不给数值

四、未来展望

自动化报警提醒，将实验结论可自动化通知到相关人员；
再则可自动化扩量实验、回收下线实验

五、参考架构资料

参考google重叠实验论文 https://ai.google/research/pubs/pub36500

ABTEST实验平台相关推荐

AB ? Angelababy ? 噢不，拒绝老板拍板决策的神器！用数据说话的决策实验平台 —— AbTest ！
文章目录 AB ? Angelababy ? 噢不,拒绝老板拍板决策的神器 !用数据说话的决策实验平台 -- AbTest ! 运营方式由增长转型至精细化数据驱动运营决策更科学.准确 AbTest ...
AB实验平台：为什么AB实验平台必不可少？
1.概述 1.1 为什么AB实验平台必不可少? 1.1.1 依据统计数据做决策当面对众多选择时,我们应该怎么选才能最大化我们的收益(或者说最小化我们的开销)呢?举例来说,怎么选择最优的上班的路线才能 ...
计算机虚拟网络毕业论文,计算机毕业论文——基于WEB的虚拟计算机网络实验平台.doc...
PAGE Tianjin University of Technology and Education 毕业设计专业: 计算机科学与技术班级学号: 计0203班 – 11 学生姓名: 指导 ...
如何支持亿级用户分流实验？AB实验平台在爱奇艺的实践
01 背景随着互联网公司的产品和业务越来越多样,利用数据来驱动业务决策成为必然,而AB实验正是以数据指标来判断产品功能和运营策略迭代效果的方法和工具,其可以在保证样本同时性和同质性基础上,对比两个或 ...
linux平台的实验描述,基于LINUX的操作系统实验平台的设计与实现
摘要: 操作系统原理课程是计算机专业的重要基础课程,该课程涉及大量抽象和深奥的概念.模型和算法,容易导致学习低效和困难. 本文针对操作系统教学中存在的不足,以Linux0.11版本内核为基础为操作系统 ...
基于matlab的脑瘤mr图像处理_基于Matlab GUI的医学图像处理课程虚拟实验平台设计...
论文写作指导:请加QQ229366758 摘要:针对医学生工程技术缺乏的状况,分析医学生学习医学图像处理存在的困难,提出利用Matlab图像处理工具和简单的GUI界面,设计和构建包含医学图像处理教学 ...
天津科技大学物理实验平台使用教程及相关问题
文章目录 1. 使用流程 2. 常见问题 2.1. 1628:完成基于脚本的安装失败 2.2. 创建在"system.net/defaultProxy"配置节中指定的Web代理时出 ...
虚拟计算机组成,计算机组成原理虚拟仿真实验平台研究
摘要: 现如今,随着现代化信息技术的快速发展,为解决传统实验教学的不足,各高等院校逐渐推出了一种新型的网上虚拟实验教学模式.虚拟实验是一种借助于网络技术,虚拟现实技术以及多媒体技术而模拟真实实验场景的 ...
MFC的固高环形倒立摆GRIP2002实验平台
固高环形倒立摆GRIP2002是基于GT-400-SV-PCI运动控制卡的一个二级环形倒立摆(摆杆和连杆两根杆的摆),固高公司提供了一个DOS环境下的Demo和MATLAB 7.0的simulink的 ...

最新文章

热门文章