1.SGD

L2 regularization 和 Weight decay 只在SGD优化的情况下是等价的。

2.自适应学习率算法

Adam自动调整学习率，大幅提高了训练速度，也很少需要调整学习率，但是有相当多的资料报告Adam优化的最终精度略低于SGD。

问题出在哪呢，其实Adam本身没有问题，问题在于目前大多数DL框架都是在优化器之前加上L2正则项来替代weight decay。

3. Adam vs AdamW

4. 图示分析

横纵坐标分别是不同的weight decay和learning rate的组合;
上方可以看到, 原始的实现方法, 最优化区域很小, 而且learning rate和weight decay有极大的相关性, 也就是说固定一个去调整另一个, 马上就会结果变差；
而下边作者提出的实现方法, 最优化区域明显增大, 固定一个去调整另一个, 才会真正的实现结果优化, 找到最优的参数组合.

AdamW优化器简单理解相关推荐

Adam优化器简单理解和实现
前言:因为要实现GAN,简单理解一下训练过程需要用到的Adam优化器. 零.何为优化器机器学习的任务就是优化参数使之达到最合适的值,同时也就是时损失函数达到最小.损失函数即目标函数的值与真实值的差值 ...
Adam优化器简单理解
参考链接:https://www.jianshu.com/p/aebcaf8af76e
python3 修饰器_【python3】修饰器简单理解
### 修饰器干嘛的,有什么作用比如说A现在已经写好了一个项目,但是现在B接管了这个项目,B需要对项目中的某个函数进行修改,一个一个修改然后复制,粘贴?这时候修饰器就开始大显身手了.修饰器可以避免许 ...
2学习率调整_Keras的Adam优化器参数理解及自适应学习率
Adam优化器是目前应用最多的优化器. optimizer--adam_小笨熊~~走向程序猿的~~历程~~专栏-CSDN博客blog.csdn.net 在训练的过程中我们有时会让学习率随着训练过程自 ...
机器学习数据挖掘笔记_12（对Conjugate Gradient 优化的简单理解）
数学优化方法在机器学习算法中至关重要,本篇博客主要来简单介绍下Conjugate Gradient(共轭梯度法,以下简称CG)算法,内容是参考的文献为:An Introduction to the C ...
python装饰器简单理解
装饰器定义:1.把一个函数名当作实参传给另外一个函数(在不修改装饰函数源代码的情况下为其添加功能) 2.返回值中包含函数名(不改变函数调用方式) 源代码: 1 def f(): 2 def f(): ...
python装饰器简单理解的小demo
def multi_100(func):def demo(ls):# 这个函数是让列表前两个元素*100for i in range(2):ls[i] = (ls[i] * 100)func(ls)r ...
python装饰器简单理解_python装饰器的简单理解
如果你接触 Python 有一段时间了的话,想必你对 @ 符号一定不陌生了,没错 @ 符号就是装饰器的语法糖. 装饰器的使用方法很固定: 先定义一个装饰函数(帽子)(也可以用类.偏函数实现) 再定义你 ...
adam优化器再理解
从两个维度进行变化:一是梯度的更新,使用动量方法:二是学习率的自适应性:针对不同的参数使用不同的学习率:

AdamW优化器简单理解

1.SGD

2.自适应学习率算法

3. Adam vs AdamW

4. 图示分析

AdamW优化器简单理解相关推荐

最新文章

热门文章