梯度下降法与牛顿法的比较

参考知乎：https://www.zhihu.com/question/19723347

这篇博文讲牛顿法讲的非常好：http://blog.csdn.net/itplus/article/details/21896453

梯度下降法用目标函数的一阶偏导、以负梯度方向作为搜索方向，只考虑目标函数

在迭代点的局部性质；牛顿法同时考虑了目标函数的一、二阶偏导数，考虑了梯度变化

趋势，因而能更合适的确定搜索方向加快收敛，但牛顿法也存在以下缺点：

1、对目标函数有严格要求，必须有连续的一、二阶偏导数，海森矩阵必须正定；

2、计算量大，除梯度外，还需计算二阶偏导矩阵及其逆矩阵。

拟牛顿法：http://blog.csdn.net/itplus/article/details/21896619

转载于:https://www.cnblogs.com/573177885qq/p/5950917.html

梯度下降法与牛顿法的比较相关推荐

梯度下降法、随机梯度下降法、批量梯度下降法及牛顿法、拟牛顿法、共轭梯度法
http://ihoge.cn/2018/GradientDescent.html http://ihoge.cn/2018/newton1.html 引言李航老师在<统计学习方法>中将 ...
机器学习、深度学习中常用的优化算法详解——梯度下降法、牛顿法、共轭梯度法
一.梯度下降法 1.总述: 在机器学习中,基于基本的梯度下降法发展了三种梯度下降方法,分别为随机梯度下降法,批量梯度下降法以及小批量梯度下降法. (1)批量梯度下降法(Batch Gradient D ...
算法细节系列（3）：梯度下降法，牛顿法，拟牛顿法
算法细节系列(3):梯度下降法,牛顿法,拟牛顿法迭代算法原型话不多说,直接进入主题.在我看来,不管是梯度下降法还是牛顿法,它们都可以归结为一个式子,即 x=ϕ(x) x = \phi(x) 也就是 ...
优化算法之梯度下降法、牛顿法、拟牛顿法和拉格朗日乘数法
在机器学习中,优化方法是其中一个非常重要的话题,最常见的情形就是利用目标函数的导数通过多次迭代来求解最优化问题. - 无约束最优化问题:梯度下降法.牛顿法.拟牛顿法: - 有约束最优化问题:拉格朗 ...
常用的优化算法：梯度下降法，牛顿法，拟牛顿法,共轭梯度法
目录 0.几个数学概念 1. 梯度下降法(Gradient Descent) 2. 牛顿法和拟牛顿法(Newton's method & Quasi-Newton Methods) 3. 共轭 ...
优化：梯度下降法、牛顿法、共轭梯度法
1.基本概念 1.1 方向导数 1.2 梯度的概念如果考虑z=f(x,y)描绘的是一座在点(x,y)的高度为f(x,y)的山.那么,某一点的梯度方向是在该点坡度最陡的方向,而梯度的大小告诉我们坡度到 ...
梯度下降法，牛顿法，高斯-牛顿迭代法，附代码实现
---------------------梯度下降法------------------- 梯度的一般解释: f(x)在x0的梯度:就是f(x)变化最快的方向.梯度下降法是一个最优化算法,通常也称为最 ...
机器学习案例系列教程——优化方法总结（梯度下降法、牛顿法、拟牛顿法、共轭梯度法等）
梯度下降法梯度下降法是最早最简单,也是最为常用的最优化方法.梯度下降法实现简单,当目标函数是凸函数时,梯度下降法的解是全局解.一般情况下,其解不保证是全局最优解,梯度下降法的速度也未必是最快的.梯度 ...
随机梯度下降法、牛顿法、冲量法、AdaGrad、RMSprop以及Adam优化过程和理解
在神经网络的训练中我们会遇到一个问题,那就是如何有效的对损失函数求梯度.在我另一篇文章中有讲过关于梯度下降的过程和为什么负梯度方向是下降的最快方向[也就是我们希望损失函数下降],大家可以看看这篇文章, ...

梯度下降法与牛顿法的比较

梯度下降法与牛顿法的比较相关推荐

最新文章

热门文章