最速下降法（梯度下降法）

　　最速下降法的影子在机器学习中正是无处不在，它简单实用。

一、表示

　　在最速下降法中，对权值向量w的连续调整是在最速下降的方向上，即它是与梯度向量方向相反的，梯度向量记为（1），简记（2）：

　　其中，η是一个正常数，称为步长或学习率参数。g(n)是在w(n)处的梯度向量值。在从迭代n到n+1的过程中算法应用修正。

二、证明

　　用w(n)附近的一阶泰勒级数展开来逼近，可写成（4）式

　　　　由（1）式得到（5）式，将（5）式代入（4）式，得到（6）式。显然是梯度下降的。

三、优缺点

　　缺点：局部极小值，而不是全局优化。只有目标函数是凸函数才是全局优化。

参考文献：《神经网络与机器学习》P59

转载于:https://www.cnblogs.com/Wanggcong/p/4701703.html

最速下降法（梯度下降法）相关推荐

最速下降法/梯度下降法
基本思想算法描述应用于正定二次函数锯齿现象梯度下降法在机器学习中是经常用到的一种方法,很多人也把梯度下降法看作是最速下降法,但是这两种方法好像还有一些细微差别,wikipedia中Gradie ...
最小二乘法、迭代优化、坐标轴下降法(Coordinate Descent， CD)、坐标下降和梯度下降对比、梯度下降法/最速下降法
最小二乘法.迭代优化.坐标轴下降法(Coordinate Descent, CD).坐标下降和梯度下降对比.梯度下降法/最速下降法目录
【数学与算法】步长一维搜索、梯度下降法、最速下降法、牛顿法
更详细的推导,可以参考这篇博客:一维搜索.最速下降(梯度下降)与牛顿法(拟牛顿法) 1.求解最优步长的方法: f(x)f(x)f(x)可以理解为目标函数,损失函数.我们的目标是最小化这个损失函数,最小 ...
梯度下降法、最速下降法
梯度下降法最优化问题是求解函数极值的问题,包括极大值和极小值.相信所有的读者对这个问题都不陌生,在初中时我们就学会了求解二次函数的极值(抛物线的顶点),高中时学习了幂函数,指数函数,对数函数,三角函 ...
梯度下降法，最速下降法，牛顿法，Levenberg-Marquardt 修正，共轭方向法，共轭梯度法
优化对象:凸函数梯度下降法顾名思义,就是沿着与梯度相反的方向迭代.(梯度方向是增长最快的方向,所以负梯度方向是下降最快的方向). 最速下降法最速下降法是梯度方向法的一种,与上面的梯度下降法不同的 ...
最速下降法（梯度下降法）python实现
有用请点赞,没用请差评. 欢迎分享本文,转载请保留出处. 最近在写论文,做的是共轭梯度反演方法,所以将论文中的部分内容分享出来吧. 大部分的机器学习算法的本质都是建立优化模型,通过最优化方法对目标函数 ...
最优化方法总结——梯度下降法、最速下降法、牛顿法、高斯牛顿法、LM法、拟牛顿法
目录 1 最优化方法的结构 2 常用最优化方法对比分析 3 相关计算公式 1 最优化方法的结构最优化问题的一般形式为: 其中为决策变量,是目标函数,为约束集或可行域.特别地,如果,则最优化问题成为无 ...
机器学习中的数学原理——梯度下降法（最速下降法）
好久没更新了,确实是有点懒了,主要是这两天返乡在隔离(借口).这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新 ...
牛顿下降法和梯度下降法(最速下降法)的速度的比较
"牛顿下降法和梯度下降法在机器学习和自适应滤波中的都很重要,本质上是为了寻找极值点的位置.但是收敛的速度不同. 本文中就两种方法来探究一下,哪种收敛方法速度快" 牛顿下降法的递推公 ...
优化：梯度下降法、牛顿法、共轭梯度法
1.基本概念 1.1 方向导数 1.2 梯度的概念如果考虑z=f(x,y)描绘的是一座在点(x,y)的高度为f(x,y)的山.那么,某一点的梯度方向是在该点坡度最陡的方向,而梯度的大小告诉我们坡度到 ...

最速下降法（梯度下降法）

最速下降法（梯度下降法）相关推荐

最新文章

热门文章