1 学习率的大小

2 Adagrad

2.1 Adagrad结论

2.2 Adagrad推导

g不变

η随着t的增加而减少

σ是之前梯度的均方根

3 Adagrad的优缺点

3.1 优点

可以动态调整学习率，因而相比于SGD来说，可以更少地进行手动对学习率的调参

3.2 缺点

如果我们把视为学习率的话，那么学习率会很快降到一个很小的值，之后会很慢收敛了。
η的值需要认为指定，如果设置的太大的话，就会发生震荡；太小的话全局学习率又会较低

机器学习笔记：Adagrad相关推荐

李弘毅机器学习笔记：第十二章—Recipe of Deep Learning
李弘毅机器学习笔记:第十二章-Recipe of Deep Learning 神经网络的表现如何改进神经网络? 新的激活函数梯度消失怎么样去解决梯度消失? Adaptive Learning R ...
李弘毅机器学习笔记：第十章：Keras2.0
李弘毅机器学习笔记:第十章:Keras2.0 创建网络配置选择最好的方程使用模型创建网络假设我们要做的事情是手写数字辨识,那我们要建一个Network scratch,input是28∗28 ...
李弘毅机器学习笔记：第十一章—Keras Demo
李弘毅机器学习笔记:第十一章-Keras Demo 创建网络配置选择最好的方程使用模型创建网络假设我们要做的事情是手写数字辨识,那我们要建一个Network scratch,input是28 ...
一份520页的机器学习笔记！附下载链接
点击上方"视学算法",选择"星标"公众号第一时间获取价值内容近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 52 ...
700 页的机器学习笔记火了！完整版开放下载
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散作者梁劲(Jim Liang),来自SAP(全球第一大商业软件公司). 书籍特点条理清晰 ...
机器学习笔记十四：随机森林
在上一篇机器学习笔记十三:Ensemble思想(上)中,简要的提了一下集成学习的原理和两种主要的集成学习形式. 而在这部分要讲的随机森林,就算是其中属于bagging思路的一种学习方法.为了篇幅,b ...
机器学习笔记七：损失函数与风险函数
一.损失函数回顾之前讲过的线性回归模型,我们为了要学习参数使得得到的直线更好的拟合数据,我们使用了一个函数这个函数就是比较模型得到的结果和"真实值"之间的"差距&qu ...
吴恩达机器学习笔记55-异常检测算法的特征选择（Choosing What Features to Use of Anomaly Detection）
吴恩达机器学习笔记55-异常检测算法的特征选择(Choosing What Features to Use of Anomaly Detection) 对于异常检测算法,使用特征是至关重要的,下面谈谈 ...
Python机器学习笔记：sklearn库的学习
自2007年发布以来,scikit-learn已经成为Python重要的机器学习库了,scikit-learn简称sklearn,支持包括分类,回归,降维和聚类四大机器学习算法.还包括了特征提取,数据 ...
神经网络与机器学习笔记—LMS（最小均方算法）和学习率退火
神经网络与机器学习笔记-LMS(最小均方算法)和学习率退火 LMS算法和Rosenblatt感知器算法非常想,唯独就是去掉了神经元的压制函数,Rosenblatt用的Sgn压制函数,LMS不需要压制 ...

机器学习笔记：Adagrad

1 学习率的大小

2 Adagrad

2.1 Adagrad结论

2.2 Adagrad推导

3 Adagrad的优缺点

3.1 优点

3.2 缺点

机器学习笔记：Adagrad相关推荐

最新文章

热门文章