点击上方“视学算法”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转载自｜极市平台

整理 | CVer

在许多深度学习问题中，损失函数是多项加权和。而处理损失函数问题的常用方法是训练多个具有不同权重的单独模型，然后根据某个标准选择最佳模型，这容易使得模型训练和推理效率不够理想。

为了解决这一问题，谷歌提出了一种新方法：

YOTO（You Only Train Once）

YOTO使用单个在损失分布上训练的模型替代了多个损失函数训练模型，同时在测试时，还可以对采用这种方式训练出来的模型进行调整，并根据损失的训练分布生成与任一损失相对应的输出。目前，该工作已被ICLR2020接收。

我们先来看看这一方法的具体应用：

可变速率的图像压缩

上图显示了使用该方法进行图像压缩的结果。在压缩图像时，用户应该能够在选择所需的权衡。过去的图像压缩算法在面对权衡图像质量和压缩率这一问题时，需要为每个方案训练一个单独的模型，而本文方法仅需一组针对不同损失进行优化的模型，即通过训练一个模型来涵盖所有方案，大大减少了在训练和推理上的消耗。

可调整的风格迁移

过去的方法虽然能够实时地对图像进行风格迁移。但是对于每种给定的风格，这些方法不允能控制合成输出的详细信息，比如对图像进行风格迁移的程度以及对侧重于哪些风格特征，同时还需要不断训练具有不同超参数的多个模型，直到获得喜欢的风格。

本文提出的方法能够直接训练一个涵盖多种风格的单一模型，设置了一个具有五个项的损失函数，包括1个内容损失项和4个风格损失项，内容损失决定风格化图像应与原始内容相似的程度，而四个风格化损失则定义将哪些风格特征保留在最终风格化图像中。下图是改变所有项的单个模型输出：

Loss-Conditinal Training

YOTO的主要思想是：训练一个涵盖所有损失项系数选择的模型，来替代为每组系数单独训练一个模型，并通过调整不同内容对应的损失项系数，来调节模型输出。

在训练过程（左），对于每个训练数据，从Pλ中采样参数λ，并以此对模型进行调整。在测试过程（右），可以将模型调整为任何所需的参数，来实现与具有这些参数的损失函数相应的行为。

下图说明了风格迁移任务的训练过程。对于每个训练，首先对损失系数进行随机采样，它们既可用于调节主网络，又可以计算损耗。而整个系统则进行端到端地联合训练，即模型参数与损失函数的随机采样进行同步训练。

实验结果

图1是YOTO在CIFAR-10（a，b）和Shapes3D（c，d）上针对不同模型的定量β-VAE结果。

图1

可以看出，在大多数情况下，本文方法训练出的模型与对每个损失权重值独立训练的模型非常接近。

此外，作者还在Shapes3D数据集上进行了β-VAE定性分析。可以从图2看出，对于每个损失权重β，YOTO的重建和采样结果与单独训练的模型非常接近。

图2

图3

上图是在Tecnick和Kodak数据集上的压缩结果。与一组固定权重模型相比，虽然基础的YOTO模型表现不佳，但是在更广泛的网络中，YOTO几乎可以与固定权重模型的性能相匹配。

传递门

论文链接：https://openreview.net/pdf?id=HyxY6JHKwr

论文代码（即将开源）：https://github.com/google-research/google-research/yoto

麻烦给我一个在看！

YOTO来了！你只需训练一次，谷歌大脑提出调参新trick相关推荐

谷歌大脑提出“洗发水”二阶优化算法，Transformer训练时间减少40%，Jeff Dean点赞...
晓查发自凹非寺量子位报道 | 公众号 QbitAI 机器学习的优化步骤,目前都是一阶方法主导. 无论是SGD还是Adam,此类优化算法在都是计算损失函数的一阶导数--梯度,然后按照某种规定的 ...
谷歌大脑提出对智能体进行「正向-反向」强化学习训练，加速训练过程
原文来源:arXiv 作者:Ashley D. Edwards.Laura Downs.James C. Davidson 「雷克世界」编译:嗯~是阿童木呀.KABUDA.EVA 在强化学习问题中,关 ...
让AI自己调整超参数，谷歌大脑新优化器火了，自适应不同任务，83个任务训练加速比经典Adam更快...
萧箫发自凹非寺量子位 | 公众号 QbitAI 还在苦恼怎么给优化器调整更好的参数吗? 现在,谷歌大脑搞出了一个新的优化器VeLO,无需手动调整任何超参数,直接用就完事了. 与其他人工设计的如A ...
谷歌大脑新优化器VeLO火了！让AI自己调整超参数，自适应不同任务，83个任务训练加速比经典Adam更快！...
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入-> CV 微信技术交流群萧箫发自凹非寺转载自:量子位(QbitAI) 还在苦恼怎么给 ...
不可思议！英伟达新技术训练NeRF模型最快只需5秒，代码已开源
英伟达将训练 NeRF 模型从 5 小时缩至 5 秒. 你曾想过在 5 秒内训练完成狐狸的 NeRF 模型吗?现在英伟达做到了! 令人不可思议的是,就如谷歌科学家 Jon Barron 在推特上表示的 ...
训练NeRF只需5秒？！英伟达这项新技术给谷歌研究员整不会了 | 开源
杨净发自凹非寺量子位 | 公众号 QbitAI "这太疯狂了!" "18个月前,训练NeRF需要5小时-" "2个月前,训练NeRF需要是5分钟 ...
华为发布全世界最快AI产品，集成1024颗业内最强芯片，训练ResNet-50只需59.8秒
乾明李根发自凹非寺量子位报道 | 公众号 QbitAI 不止5G和鸿蒙,华为最新大招,扔出AI计算核弹. 刚刚,华为全联接大会开幕,推出又一重量级AI产品Atlas900. 此前接受外媒采 ...
只需3行代码自动生成高性能模型，支持4项任务，亚马逊发布开源库AutoGluon
作者 | KYLE WIGGERS 编译 | AI科技大本营(ID:rgznai100) 构建涉及图像.文本和表格数据集的机器学习应用并不容易.它需要特征工程或使用数据领域知识来创建使AI算法起作用的 ...
只需两行代码，2080Ti 就能当 V100用，这个炼丹神器真牛！
作者 | 陈大鑫.青暮话说人工智能江湖门派众多且繁杂,好似那大脑中的神经网络一般,但繁杂中却仍然有着一统的迹象...... 许久之前,ML派坐落美利坚合众山中,百年来武学奇才辈出,隐然成江湖第一大名 ...

YOTO来了！你只需训练一次，谷歌大脑提出调参新trick

可变速率的图像压缩

可调整的风格迁移

Loss-Conditinal Training

实验结果

传递门

YOTO来了！你只需训练一次，谷歌大脑提出调参新trick相关推荐

最新文章

热门文章