VeLO：让AI自己调整参数的新优化器

2024-05-09 22:01:29

与其他人工设计的如Adam、AdaGrad等算法不同，VeLO完全基于AI构造，能够很好地适应各种不同的任务。

设计

基于元学习的思路(从相关任务上学习经验，来帮助学习目标任务)，VeLO会吸收梯度并自动输出参数更新，无需任何超参数调优，并自适应需要优化的各种任务。

架构

VeLO优化器整体由LSTM（长短期记忆网络）和超网络MLP（多层感知机）构成。其中每个LSTM负责设置多个MLP的参数，各个LSTM之间则通过全局上下文信息进行相互协作。

训练

VeLO优化器采用元训练的方式，以参数值和梯度作为输入，输出需要更新的参数。经过4000个TPU月（一块TPU运行4000个月的计算量）的训练，集各种优化任务之所长后，VeLO横空出世。

和人工调参优化器相比

结果表明，VeLO在83个任务上的加速效果超过了一系列当前已有的优化器。与Adam相比，VeLO在所有任务上训练加速都更快，其中50%以上的任务比Adam快4倍以上，14%以上的任务中，VeLO甚至快上16倍。

如何使用VeLO

此 colab 演示了如何加载 VeLO 并将其用于一些常见任务。

GitHub地址：
https://github.com/google/learned_optimization/tree/main/learned_optimization/research/general_lopt

论文地址：
https://arxiv.org/abs/2211.09760

VeLO：让AI自己调整参数的新优化器相关推荐

谷歌大脑新优化器VeLO火了！让AI自己调整超参数，自适应不同任务，83个任务训练加速比经典Adam更快！...
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入-> CV 微信技术交流群萧箫发自凹非寺转载自:量子位(QbitAI) 还在苦恼怎么给 ...
让AI自己调整超参数，谷歌大脑新优化器火了，自适应不同任务，83个任务训练加速比经典Adam更快...
萧箫发自凹非寺量子位 | 公众号 QbitAI 还在苦恼怎么给优化器调整更好的参数吗? 现在,谷歌大脑搞出了一个新的优化器VeLO,无需手动调整任何超参数,直接用就完事了. 与其他人工设计的如A ...
谷歌推出新优化器Lion：优化算法的符号发现
文章目录谷歌推出新优化器Lion:优化算法的符号发现 Lion VS AdamW 论文实验 1.图像分类 2.视觉语言对比学习 3.扩散模型 4.语言建模和微调 5.与其他流行优化器的比较超参数设 ...
2学习率调整_Keras的Adam优化器参数理解及自适应学习率
Adam优化器是目前应用最多的优化器. optimizer--adam_小笨熊~~走向程序猿的~~历程~~专栏-CSDN博客blog.csdn.net 在训练的过程中我们有时会让学习率随着训练过程自 ...
训练ViT和MAE减少一半计算量！Sea和北大提出新优化器Adan：深度模型都能用！
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入-> CV 微信技术交流群转载自:新智元 | 编辑:LRS 好困 [导读]换个优化器,计 ...
揭秘 TiDB 新优化器：Cascades Planner 原理解析
作者:MingCong Han 在<十分钟成为 Contributor 系列 | 为 Cascades Planner 添加优化规则>中,我们简单介绍了 Cascades 的相关背景知识, ...
谷歌大脑提出VeLO优化器，无需调参，最高比Adam快16倍！
文 | 萧箫发自凹非寺源 | 量子位还在苦恼怎么给优化器调整更好的参数吗? 现在,谷歌大脑搞出了一个新的优化器VeLO,无需手动调整任何超参数,直接用就完事了. 与其他人工设计的如Adam.A ...
pytorch优化器学习率调整策略以及正确用法
优化器 optimzier优化器的作用:优化器就是需要根据网络反向传播的梯度信息来更新网络的参数,以起到降低loss函数计算值的作用. 从优化器的作用出发,要使得优化器能够起作用,需要主要两个东西: ...
【torch.optim】优化器的使用 / 学习率的调整 / SWA策略
torch.optim torch.optim是实现各种优化算法的包.大多数常用的方法都已得到支持,而且接口足够通用,因此将来还可以轻松集成更复杂的方法. 优化器使用优化器为了使用一个优化器,必须 ...

最新文章

热门文章