牛顿法求解无约束最优化问题

记泰勒公式

$f\left ( x \right )=\frac{f\left ( a \right )}{0!}+\frac{f^{1}\left ( a \right )}{1!}\cdot \left ( x-a \right )+\frac {f^{2}\left ( a \right )}{2!}\cdot \left ( x-a \right )^{2}+...+\frac{f^{n}\left( a\right )}{n!}\cdot \left(x-a \right )^n+R\left(n \right )$

舍去高阶项

$f\left ( x \right )\approx \frac{f\left ( a \right )}{0!}+\frac{f^{1}\left ( a \right )}{1!}\cdot \left ( x-a \right )+\frac {f^{2}\left ( a \right )}{2!}\cdot \left ( x-a \right )^{2}$

$f\left(x\right)$ 在导数为0时候取得极值，令 $f^{1}\left(x \right ) = 0$ ，以上式子可以变形为

$f^{1}\left ( a \right )+f^{2}\left ( a \right )\cdot \left ( x-a \right ) = 0$

继续整理可以得到

$x=\frac{-f^{1}\left(a \right )+f^{2}\left(a \right )\cdot a}{f^{2}\left(a \right )}$

通过观察上式，我们可以发现，当给出一个初始点a的时候，我们可以通过泰勒公式用a点的一阶导数与二阶导数还有a的值近似的表达出使 $f\left(x \right )=0$ 的点x。但是我们的这个近似是通过舍去泰勒公式中的高阶项实现的，因此我们要保证高阶项的舍弃对x的求值影响较小，也就是说初始点a的取值不能离x点太远，否则会出现较大的误差，从而导致最终的求值无法收敛。对于以上算法还可以扩展到多变量函数中，推导过程如下：

$f\left(X \right )\approx f\left(a \right )+f^{1}\left(a \right )\cdot \left(X-a \right )+\frac{1}{2}\cdot \left(X-a \right )^{T}\cdot f^{2}\left( a \right ) \cdot \left(X-a \right )$

求导后得到等式

$f^{2}\left(a \right )\cdot \left(X-a\right)+f^{1}\left(a \right ) = 0$

$f^{2}(a)$ 是正定矩阵，因此可逆，进而求得

$X=a-inv\left(f^{2}\left(a) \right )\cdot f^{1}\left(a \right )$

通过观察算法的推到过程我们能看出来，实际上牛顿法就是使用一条与初始点a相关的曲线去近似的代替原来的曲线，然后求取新曲线的一阶导数为零的点，因为新曲线是对旧曲线的一个近似，因此新曲线的0一阶导数点就可以近似的认为是原曲线的0一阶导数点，因此就得到了原曲线的极值。但是如上面一段所讲的那样，这条曲线的近似依赖于a点的选取，当a点选的不恰当时候，舍去的高阶项的影响就无法被忽略，因此新曲线将会与原曲线有较大的差异，这样求出的新曲线的0一阶导数点也就跟原曲线的一阶导数点不再相近，这样用此牛顿法就无法求出原曲线上的极值点了。

最后总结一句话，牛顿法虽然收敛速度快，但是对a点的选取有比较苛刻的要求，因此要使用牛顿法，必须对问题做一些预处理，比如先用最速下降法求出一个与极值点相近的点，然后再从这个相近的点开始用牛顿法最终求出极值点。

牛顿法求解无约束最优化问题相关推荐

机器学习之求解无约束最优化问题方法(手推公式版)
文章目录前言 1. 基础知识 1.1 方向导数 1.2 梯度 1.3 方向导数与梯度的关系 1.4 泰勒展开公式 1.5 Jacobian矩阵与Hessian矩阵 1.6 正定矩阵 2. 梯度下降法 ...
利用 MATLAB 编程实现共轭梯度法求解无约束最优化问题
本文章包含以下内容 1.FR 共轭梯度法的算法流程图: 2.MATLAB 编写 FR 共轭梯度法求解无约束优化问题的函数,要求采用黄金分割法精确一维搜索,用数值微分法计算梯度(函数式 M 文件,精度 ...
利用 MATLAB 编程实现最速下降法求解无约束最优化问题
本文章包含以下内容 1.画出最速下降法的算法流程图: 2.MATLAB 编写用数值微分法的梯度计算函数(函数式 M 文件): 3.MATLAB 编写最速下降法求解无约束优化问题的函数,要求采用黄金分割 ...
计算智能课程设计(遗传算法求解无约束单目标优化问题)
写在前面前天写完了基于传递闭包的模糊聚类,今天准备写"遗传算法求解无约束单目标优化问题".昨天和npy玩了一下午,去齐白石艺术学院看了画展,一起在最高处看了夕阳,并在落日前接吻. ...
无约束最优化问题的一般结构与规划方法
无约束问题与最优解最优性条件一维线性搜索精确线性搜索直接搜索法非精确一维搜索法下降算法的收敛性与收敛速度无约束规划最速下降法 Newton法 Newton-最速下降混合算法阻尼New ...
【运筹优化】SOA海鸥优化算法求解无约束多元函数最值(Java代码实现)
文章目录前言优化目标求解结果搜索过程可视化 Java算法代码可视化代码前言本文以求解二元函数最小值为例,如果需要求解多元函数,只需要修改以下变量即可: varNum:变量维度数 ub和l ...
梯度下降【无约束最优化问题】
目录前言 1.无约束最优化 2.梯度下降 3.梯度下降公式 4.学习率 5.全局最优化 6.梯度下降步骤 7.代码模拟梯度下降 7.1 构建函数和导函数 7.2 函数可视化 7.3 求函数的最小值 ...
matlab粒子群算法求解无约束最小值,pso matlab粒子群算法和遗传是解决约束优化问题，无和多目标的优 259万源代码下载- www.pudn.com...
文件名称: pso下载收藏√ [ 5 4 3 2 1 ] 开发工具: matlab 文件大小: 51 KB 上传时间: 2016-06-01 下载次数: 0 提供者: 孙志勇详细说 ...
【运筹优化】AFSA人工鱼群算法求解无约束多元函数最值(Java代码实现)
文章目录前言优化目标求解结果迭代结果可视化算法流程 Java代码可视化代码前言本文以求解二元函数最小值为例,如果需要求解多元函数,只需要修改以下变量即可: varNum:变量维度数 u ...

牛顿法求解无约束最优化问题

牛顿法求解无约束最优化问题相关推荐

最新文章

热门文章