有时候，我们希望根据一定的条件找到优化问题的极值点；另外一些时候，我们得到若干候选解，希望判断候选解中哪些是真正的极值点。这其中涉及非线性规划的极值条件问题。所谓非线性规划的极值条件，是指非线性规划模型最优解所要满足的必要或充分条件。本文介绍无约束非线性规划问题的极值条件。

1. 极值点的必要条件和充分条件

一阶必要条件 设实值函数 $f(/mathbf{x}):/mathbb{R}^n /to /mathbb{R}$ 在点 $/mathbf{x}^*$ 处可微，若 $\mathbf{x}^*$ 是无约束优化问题 $/min f(/mathbf{x})$ 的局部极小点，则有

$/nabla f(/mathbf{x}^*) = /mathbf{0}$

其中， $/nabla f(/mathbf{x}^*)$ 表示函数 $f(/mathbf{x})$ 在点 $\mathbf{x}^*$ 处的梯度。

二阶必要条件 设实值函数 $f(\mathbf{x}):\mathbb{R}^n \to \mathbb{R}$ 在点 $\mathbf{x}^*$ 处二阶可微，若 $\mathbf{x}^*$ 是无约束优化问题 $\min f(\mathbf{x})$ 的局部极小点，则有

$\nabla f(\mathbf{x}^*) = \mathbf{0}$ 且 $/nabla^2 f(/mathbf{x}^*) /succeq /mathbf{0}$

其中， $\nabla f(\mathbf{x}^*)$ 表示函数 $f(\mathbf{x})$ 在点 $\mathbf{x}^*$ 处的梯度， $/nabla^2 f(/mathbf{x}^*)$ 表示函数 $f(\mathbf{x})$ 在点 $\mathbf{x}^*$ 处的海赛矩阵， $/mathbf{M}/succeq /mathbf{0}$ 表示矩阵 $/mathbf{M}$ 是半正定的。

二阶充分条件 设实值函数 $f(\mathbf{x}):\mathbb{R}^n \to \mathbb{R}$ 在点 $\mathbf{x}^*$ 处二阶可微，若 $\nabla f(\mathbf{x}^*) = \mathbf{0}$ 且 $/nabla^2 f(/mathbf{x}^*)/succ /mathbf{0}$ ，则 $\mathbf{x}^*$ 为无约束问题 $/min f(/mathbf{x})$ 的严格局部极小值。（注：需要海赛矩阵正定）

以上结论对一般函数成立。针对凸函数（海赛矩阵恒正定），有以下充要条件

充要条件 设 $f(\mathbf{x}):\mathbb{R}^n \to \mathbb{R}$ 为定义域上的可微凸函数，则 $\mathbf{x}^*$ 为无约束问题 $\min f(\mathbf{x})$ 的全局极小点的充要条件是 $\nabla f(\mathbf{x}^*) = \mathbf{0}$ 。

2. 驻点性质判定

所谓驻点，即一阶导数值为0的点。如果函数在此点二阶可微，可利用该点处的海赛矩阵来判定驻点的性质。

假定 $\mathbf{x}^*$ 为函数 $f(\mathbf{x})$ 的驻点，并且该驻点处的海赛矩阵为 $\nabla^2 f(\mathbf{x}^*)$ ，则有以下结论：

若 $\nabla^2 f(\mathbf{x}^*)$ 是正定的，则驻点 $\mathbf{x}^*$ 为极小点（局部或全局）；
若 $\nabla^2 f(\mathbf{x}^*)$ 是负定的，则驻点 $\mathbf{x}^*$ 为极大点（局部或全局）；
若 $\nabla^2 f(\mathbf{x}^*)$ 是不定的，则驻点 $\mathbf{x}^*$ 为鞍点（即非极值点）；
若 $\nabla^2 f(\mathbf{x}^*)$ 是半定的（半正定或半负定），则驻点 $\mathbf{x}^*$ 可能是极值点，也可能不是极值点，须视高阶导数性质而定。

无约束问题的极值条件相关推荐

matlab中fminunc函数使用方法,[分享]无约束非线性规划函数\fminunc函数使用方法(MATLAB)...
[分享]无约束非线性规划函数\fminunc函数使用方法(MATLAB) 无约束非线性规划函数\fminunc函数使用方法(MATLAB) %用于求解无约束非线性规划的函数有:fminsearch和f ...
MATLAB 无约束一维极值问题
无约束一维极值问题极值问题表达式:min f(x) x,x[ x1 x2]; 一维极值的搜索方式包括线性搜索和非线性搜索,线性搜索包含黄金分割法.斐波那契法和牛顿法,非线性方法包含抛物线法 ...
无约束最优化方法-牛顿法
无约束最优化算法-Newton法原理及c++编程实现 2012-12-14 13:04 6536人阅读评论(5) 收藏举报本文章已收录于: 分类: [算法](27) 作者同类文章X 版权声 ...
最优化算法python实现篇（4）——无约束多维极值（梯度下降法）
最优化算法python实现篇(4)--无约束多维极值(梯度下降法) 摘要算法简介注意事项算法适用性 python实现实例运行结果算法过程可视化摘要本文介绍了多维无约束极值优化算法中的梯度 ...
最优化算法python实现篇（3）——无约束一维极值（黄金分割法）
最优化算法python实现篇(3)--无约束一维极值(黄金分割法) 算法适用问题 python实现示例运行结果算法适用问题搜索给定单峰区间的极值问题,一般对凸优化问题比较适用. python实现 ...
最优化算法python实现篇（2）—无约束一维极值（二分法）
最优化算法python实现篇(2)--无约束一维极值(二分法) 算法适用问题 python实现示例运行结果算法适用问题搜索给定单峰区间的极值问题,一般对凸优化问题比较适用. python实现 # ...
运筹优化（十一）--无约束非线性规划
这个系列将非线性规划是以"不是什么"定义的,也就是说,之前的线性规划模型使用连续决策变量,线性约束和线性目标函数,而非线性规划涵盖了所有其他单目标,连续决策变量的规划模型.意味着, ...
无约束低分辨率人脸识别综述一：用于低分辨率人脸识别的数据集
目前,监控场景下的极低分辨率人脸识别是一个非常小的研究领域,可用的数据集非常有限.其中SCface.Point and Shot.IJB-S.UCCSface.QMUL Survface和QMUL T ...
非线性规划（凸规划，无约束最优化方法，约束最优化方法）
非线性规划非线性规划的最优解可能在可行域的任何地方取得. 一元函数:二阶导数>=0,曲线凹,即下凸. 二元函数:图解法凸集:集合中任意取两个点x1和x2,若x1和x2之间的任意一个点都在该集 ...

无约束问题的极值条件

1. 极值点的必要条件和充分条件

2. 驻点性质判定

无约束问题的极值条件相关推荐

最新文章

热门文章