在AI领域调参是一件十分常见的事情，每个模型的训练过程可能包含几十个可调节参数，每个参数的细微变化对于模型效果有很大的影响，如何正确的在业务流量下评估不同参数带来的不同的模型效果需要A/B Test系统实现。

今天就基于Google的一篇论文《Overlapping Experiment Infrastructure :More, Better, Faster Experimentation》介绍一下如何基于流量去做不同模型的A/B Test。

A/B Test系统的设计原则

在介绍具体做法之前先给大家介绍一下Google这篇论文介绍的A/B Test系统的3个设计原则，分别是More、Better、Faster。

More：要同时支持尽可能多的实验，无论是大改动的实验还是小改动的实验，都需要尽可能的同步支持
Better：需要建立一套实验的评估体系，不好的实验不应该执行，效果不好的实验需要快速被发现
Faster：构建实验和实验评估的链路需要自动化和迅速

A/B Test系统设计方案

首先设计一个A/B Test系统需要包含3层概念，分别是Domain、Layer、Experiment

Domain：指的是一个领域的流量，比如在业务中我们可以把男用户和女用户的流量做一个分割，属于不同的Domain。
Layer：Layer是一个流量纵向分割的概念，我们可以把流量的从上到下的流动分成不同的Layer，Layer间彼此正交（正交的意思是相互不影响）。举个例子，在推荐业务中流量需要先通过召回模块，再通过排序模块，那么召回和排序就可以作为两个Layer，并且这两个Layer是同享流量的，相互正交
Experiment：Experiment指的是一个单点的实验，Experiment可能是Layer或者Domain的组成部分。对应AI流程，可能某个训练参数的变化就是一个Experiment

接下来针对几个典型场景介绍下在A/B Test系统设计中以上3个概念是如何运用的。

（1）单Domain、多层、多实验模式

图A展示的是3层，每层一个实验的模式。3层流量直接相互正交，每一层都可以享受全部的流量做不同的实验。

（2）多Domain、多层、多实验模式

可以看下，实验被分为两个大的Domain，一个是non-over lapping domain，另一个是右边的domain。右侧的domain可以增加实验。这样的分布经常被用于新实验上线的时候，横向将流量做比例分割，一边保持原样，另一边做新的实验尝试。

（3）多层、多Domain、多实验模式

C图展示的是先纵向多层实验区分，再横向Domain划分的模式。流量需要先通过两个launch layer，再做各种实验对比。

总结一下，Google这篇论文用很简洁的概念大体描述清楚了在各种复杂场景下该如何做各种横向、纵向的实验划分，并且给整个系统元素做了很好地概念定义，是一篇介绍AB Test的好文章。

Google的AI模型是如何做A/B Test的相关推荐

文本到图像模型，如何快速生成高质量图片？ #Google Muse AI
AIGC 的存在,大大提高了创作者的生产效率,目前,市面上也出现了许多快速生成图像的 AI 图像模型. 近日,谷歌的 Muse AI 系统亮相,使用 AI 生成图片又多了一个选择工具! Google ...
直接拿来用！Google 新推 AI 模型打破了现有 CNN 技术壁垒
[CSDN 编者按]CNN,即卷积神经网络是非常适合目标识别和面部检测等任务的多层神经元模型,但是在其精度达到一定程度后再想提升就极为困难.而近日 Google 推出的图像分析 AI 模型就打破了现有 ...
Google发布新API，支持训练更小、更快的AI模型
雷锋网消息,Google今天发布了 Quantification Aware Training(QAT)API,使开发人员可以利用量化的优势来训练和部署模型AI模型.通过这个API,可以将输入值从大集 ...
cloud 部署_使用Google Cloud AI平台开发，训练和部署TensorFlow模型
cloud 部署实用指南 (A Practical Guide) The TensorFlow ecosystem has become very popular for developing ap ...
用最简单的操作，做最精准的AI模型！
如今应该没人能否认AI带来的便利,越来越多与生活息息相关的企业用AI创造价值,比如汉印使用AI在线下进行果蔬识别称重.上海浦东水务使用AI巡检阀门系统.猎头企业使用AI模型高效利用沉默简历库..... ...
从眼中窥视：Google AI 模型如何通过眼睛预测你的年龄
新的模型可以通过分析眼部照片揭示衰老的秘密近年来,谷歌一直在研究各种人工智能模型,可以分析眼睛(内部和外部)的图像并监测某些参数.正如之前提到的,开发能够从眼睛中提取信息的 AI 模型意味着能够以经 ...
谷歌机器智能大牛：AI模型要真正理解人类语言，关键是「序列学习」
来源:新智元编辑:David 如果计算机给了你所有正确的答案,是否意味着它和你一样了解世界? 这是人工智能科学家几十年来一直争论不休的谜题.随着深度神经网络在与语言相关的任务中取得了令人瞩目的进步, ...
Nvidia推边缘运算平台EGX 未来将提供企业AI模型参考框架
2019独角兽企业重金招聘Python工程师标准>>> Nvidia在COMPUTEX期间,展示了新推出的边缘运算平台EGX在不同场景中的应用,包括监测路况的实时影像分析与对话式AI ...
亚马逊：自动选择AI模型，进化论方法效率更高！
[新智元导读]亚马逊称,进化论可以帮助AI模型的选择.选择架构是构建AI模型的关键步骤.研究人员表示,鉴定遗传算法和协同进化算法的性能指标取决于彼此之间的相互作用,是寻找最佳(或接近最佳)AI模型架构 ...

Google的AI模型是如何做A/B Test的

A/B Test系统的设计原则

A/B Test系统设计方案

Google的AI模型是如何做A/B Test的相关推荐

最新文章

热门文章