1 Adam介绍

Adam可以想成RMSprop+momentum

怎么记呢？Momentum累加前面是没有分式的，相当于除了1，所以在分子；RMSprop累加式子是在分母的，所以也在分母。

1.1 Bias Correction

2 Adam 特点

2.1 Adam通常在RNN中有很好的performance

2.2 Adam在靠近minimum的地方可能不能很好地收敛

——>靠近minimum的地方，梯度的值很小，因而梯度的平方比梯度更小。所以rt比st还要小，这就导致st除rt的值会较大。即每次变化的幅度会很大——这就可能导致overshooting

解决方法可以是慢慢地减少学习率，或者当快靠近minimum的时候，切换成带momentum的SGD

机器学习笔记：Adam相关推荐

Python机器学习笔记：sklearn库的学习
自2007年发布以来,scikit-learn已经成为Python重要的机器学习库了,scikit-learn简称sklearn,支持包括分类,回归,降维和聚类四大机器学习算法.还包括了特征提取,数据 ...
李弘毅机器学习笔记：第十二章—Recipe of Deep Learning
李弘毅机器学习笔记:第十二章-Recipe of Deep Learning 神经网络的表现如何改进神经网络? 新的激活函数梯度消失怎么样去解决梯度消失? Adaptive Learning R ...
李弘毅机器学习笔记：第十章：Keras2.0
李弘毅机器学习笔记:第十章:Keras2.0 创建网络配置选择最好的方程使用模型创建网络假设我们要做的事情是手写数字辨识,那我们要建一个Network scratch,input是28∗28 ...
李弘毅机器学习笔记：第十一章—Keras Demo
李弘毅机器学习笔记:第十一章-Keras Demo 创建网络配置选择最好的方程使用模型创建网络假设我们要做的事情是手写数字辨识,那我们要建一个Network scratch,input是28 ...
李弘毅机器学习笔记：第九章—Hello world of dee
李弘毅机器学习笔记:第九章-"Hello world" of dee keras 是什么示例步骤1:定义模型步骤2:模型评估步骤3:最佳模型 3.1 Configurati ...
Python机器学习笔记：使用Keras进行回归预测
Keras是一个深度学习库,包含高效的数字库Theano和TensorFlow.是一个高度模块化的神经网络库,支持CPU和GPU. 本文学习的目的是学习如何加载CSV文件并使其可供Keras使用,如何 ...
李宏毅机器学习笔记-2022spring
机器学习笔记文章目录机器学习笔记 Lecture 1 Colab的使用机器学习的基本概念一个简单的例子 1.方程的设立 2.定义损失函数 3.优化参数(Loss最小) 对上例的改进 Hard ...
一份520页的机器学习笔记！附下载链接
点击上方"视学算法",选择"星标"公众号第一时间获取价值内容近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 52 ...
700 页的机器学习笔记火了！完整版开放下载
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散作者梁劲(Jim Liang),来自SAP(全球第一大商业软件公司). 书籍特点条理清晰 ...
机器学习笔记十四：随机森林
在上一篇机器学习笔记十三:Ensemble思想(上)中,简要的提了一下集成学习的原理和两种主要的集成学习形式. 而在这部分要讲的随机森林,就算是其中属于bagging思路的一种学习方法.为了篇幅,b ...

机器学习笔记：Adam