SDM方法

考虑一般额NLS问题：

f(x)=minx||h(x)−y||2

f(x)=min_x||h(x)-y||^2
这里x为优化参数，h为非线性函数，y是已知变量，如下是基于梯度的迭代公式：

Δx=αAJTh(h(x)−y)

\Delta x=\alpha AJ_h^T(h(x)-y)
这里 α\alpha是步长，A是缩放因子， JhJ_h是h在当前参数x下的Jacobian值。

各种优化方法不同，取决于A的选择，具体为：

A=H−1A=H^{-1}表示：牛顿法
A=(JTJ)−1A=(J^TJ)^{-1}表示：高斯牛顿法
A=IA=I表示：梯度下降法

但对于不可导的函数，J和H都是很难求的。
SDM的主要观点是用一个学习矩阵R去替代αAJTh\alpha AJ_h^T,称R为通用的下降方向(Generic Descent Map(DM))。

SDM是一种迭代算法，用来学习一系列的DM.如下动画展示了SDM方法是如何从当前最优路径（虚线标注）中学习DM的。
http://xiong828.github.io/pics/sdm-animation-all.gif

牛顿法与拟牛顿法

本章可以参考文献《牛顿法与拟牛顿法学习笔记》

牛顿法与拟牛顿法，SDM方法的一些注记相关推荐

城市道路注记抽稀方法探讨
原文发布时间:2011-08-29 09:50:12 昆明市测绘研究院信息中心李宁前言单位刚刚完成整个城市的建筑物道路,有幸担任整个项目数据的内业处理技术负责,在整个项目过程中,结合FME和Arc ...
优化算法（一）：牛顿法与拟牛顿法
机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题.在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BF ...
常用的优化算法：梯度下降法，牛顿法，拟牛顿法,共轭梯度法
目录 0.几个数学概念 1. 梯度下降法(Gradient Descent) 2. 牛顿法和拟牛顿法(Newton's method & Quasi-Newton Methods) 3. 共轭 ...
寻找最优参数解：最速下降法，牛顿下降法，阻尼牛顿法，拟牛顿法
感谢于建民的投稿,转载请注明出处:数盟社区机器学习的一个重要组成部分是如何寻找最优参数解.本文就常见寻优方法进行总结,并给出简单python2.7实现,可能文章有点长,大家耐心些. 寻找最优参数解, ...
梯度下降法、随机梯度下降法、批量梯度下降法及牛顿法、拟牛顿法、共轭梯度法
http://ihoge.cn/2018/GradientDescent.html http://ihoge.cn/2018/newton1.html 引言李航老师在<统计学习方法>中将 ...
算法细节系列（3）：梯度下降法，牛顿法，拟牛顿法
算法细节系列(3):梯度下降法,牛顿法,拟牛顿法迭代算法原型话不多说,直接进入主题.在我看来,不管是梯度下降法还是牛顿法,它们都可以归结为一个式子,即 x=ϕ(x) x = \phi(x) 也就是 ...
优化算法之梯度下降法、牛顿法、拟牛顿法和拉格朗日乘数法
在机器学习中,优化方法是其中一个非常重要的话题,最常见的情形就是利用目标函数的导数通过多次迭代来求解最优化问题. - 无约束最优化问题:梯度下降法.牛顿法.拟牛顿法: - 有约束最优化问题:拉格朗 ...
牛顿法、拟牛顿法原理
文章目录非线性方程与其最优化方法牛顿法原理拟牛顿法原理拟牛顿条件 DFP算法 BFGS算法非线性方程与其最优化方法非线性方程指方程的因变量与自变量之间的关系不是线性关系的方程,比如平方关系 ...
一维搜索、最速下降（梯度下降）与牛顿法（拟牛顿法）
目录一维搜索黄金分割法牛顿法最速下降法牛顿法与拟牛顿法参考一维搜索最优化问题一般选择某一组变量,然后在满足一定的限制条件下,求出使目标值达到最优(最大或最小)的变量值.大部分时候,最优 ...

牛顿法与拟牛顿法，SDM方法的一些注记

SDM方法

牛顿法与拟牛顿法

牛顿法与拟牛顿法，SDM方法的一些注记相关推荐

最新文章

热门文章