【非线性规划】-无约束问题（2）极值点存在的条件

2024-04-15 03:29:39

本文包括以下内容：

1. 泰勒定理
2. 一阶必要条件
3. 二阶必要条件
4. 二阶充分条件
附录
参考资料

1. 泰勒定理（Taylor's Theorem）

设 $R$ 是n维欧氏空间 $E^n$ 上的某一开集， $f(X)$ 在 $R$ 上连续可微（continuously differentiable），并且 $p\in R^n$ ，那么我们有，

（1）

$t\in (0,1)$ 。此外，如果我们有 $f$ 二次连续可微（twice continuously differentiable）,那么我们有，

（2）

将（2）代入（1），我们有，

（3）

2. 一阶必要条件（First-Order Necessary Conditions）

设 $R$ 是n维欧氏空间 $E^n$ 上的某一开集， $f(\boldsymbol X)$ 在 $R$ 上有一阶连续偏导数，且在点 $\boldsymbol X^* \in R$ 取得局部极值，则必有

$\nabla f(\boldsymbol X^*)=0$ (4)

$\nabla f(\boldsymbol X^*)$ 是函数 $f(\boldsymbol X)$ 在点 $\boldsymbol X^*$ 处的梯度（gradient）。满足式（4）的点称为平稳点（stationary point）或驻点，极值点必为平稳点，但平稳点不一定是极值点（一阶必要条件）。

证明见附录(A)。

3. 二阶必要条件（Second-Order Necessary Conditions）

设 $R$ 是n维欧氏空间 $E^n$ 上的某一开集， $f(\boldsymbol X)$ 在 $R$ 上有二阶连续偏导数，且在点 $\boldsymbol X^* \in R$ 取得局部极值，若 $\nabla f(\boldsymbol X^*)=0$ 且 $\nabla ^2 f(\boldsymbol X^*)$ 是半正定的（positive semidefinite）。

证明见附录(B)。

复习一下一些概念。

正定

给定一个大小为 $n\times n$ 的实对称矩阵 $A$ ，若对于任意长度为 $n$ 的非零向量 $x$ ， $x^{T}Ax>0$ 恒成立，则矩阵 $A$ 是一个正定矩阵。

半正定

给定一个大小为 $n\times n$ 的实对称矩阵 $A$ ，若对于任意长度为 $n$ 的非零向量 $x$ ， $x^{T}Ax\geq 0$ 恒成立，则矩阵 $A$ 是一个正定矩阵。

4. 二阶充分条件（Second-Order Sufficient Conditions）

设 $R$ 是n维欧氏空间 $E^n$ 上的某一开集， $f(\boldsymbol X)$ 在 $R$ 上有二阶连续偏导数，且在点 $\boldsymbol X^* \in R$ 取得局部极值，若 $\nabla f(\boldsymbol X^*)=0$ 且 $\nabla ^2 f(\boldsymbol X^*)$ 是正定的（positive definite）。

附录

（A) 反证法

(B)

（C）

参考资料

1. https://zh.wikipedia.org/wiki/%E6%B3%B0%E5%8B%92%E5%85%AC%E5%BC%8F

2. Nocedal, Jorge, & Wright, Stephen J. (0). Numerical optimization. 2nd ed.. Springer.

3. 第4版《运筹学》-清华大学出版社

【非线性规划】-无约束问题（2）极值点存在的条件相关推荐

非线性规划（凸规划，无约束最优化方法，约束最优化方法）
非线性规划非线性规划的最优解可能在可行域的任何地方取得. 一元函数:二阶导数>=0,曲线凹,即下凸. 二元函数:图解法凸集:集合中任意取两个点x1和x2,若x1和x2之间的任意一个点都在该集 ...
matlab中fminunc函数使用方法,[分享]无约束非线性规划函数\fminunc函数使用方法(MATLAB)...
[分享]无约束非线性规划函数\fminunc函数使用方法(MATLAB) 无约束非线性规划函数\fminunc函数使用方法(MATLAB) %用于求解无约束非线性规划的函数有:fminsearch和f ...
运筹优化（十一）--无约束非线性规划
这个系列将非线性规划是以"不是什么"定义的,也就是说,之前的线性规划模型使用连续决策变量,线性约束和线性目标函数,而非线性规划涵盖了所有其他单目标,连续决策变量的规划模型.意味着, ...
无约束问题的极值条件
有时候,我们希望根据一定的条件找到优化问题的极值点:另外一些时候,我们得到若干候选解,希望判断候选解中哪些是真正的极值点.这其中涉及非线性规划的极值条件问题.所谓非线性规划的极值条件,是指非线性规划模 ...
无约束最优化问题的一般结构与规划方法
无约束问题与最优解最优性条件一维线性搜索精确线性搜索直接搜索法非精确一维搜索法下降算法的收敛性与收敛速度无约束规划最速下降法 Newton法 Newton-最速下降混合算法阻尼New ...
机器学习之求解无约束最优化问题方法(手推公式版)
文章目录前言 1. 基础知识 1.1 方向导数 1.2 梯度 1.3 方向导数与梯度的关系 1.4 泰勒展开公式 1.5 Jacobian矩阵与Hessian矩阵 1.6 正定矩阵 2. 梯度下降法 ...
优化工具包—无约束非线性优化求解器（fminsearch）
优化工具包-无约束非线性优化求解器(fminsearch) 原创不易,路过的各位大佬请点个赞室内定位/导航/优化技术探讨:WX: ZB823618313 目录优化工具包-无约束非线性优化求解器(f ...
MATLAB 无约束一维极值问题
无约束一维极值问题极值问题表达式:min f(x) x,x[ x1 x2]; 一维极值的搜索方式包括线性搜索和非线性搜索,线性搜索包含黄金分割法.斐波那契法和牛顿法,非线性方法包含抛物线法 ...
无约束最优化方法-牛顿法
无约束最优化算法-Newton法原理及c++编程实现 2012-12-14 13:04 6536人阅读评论(5) 收藏举报本文章已收录于: 分类: [算法](27) 作者同类文章X 版权声 ...
最优化算法python实现篇（4）——无约束多维极值（梯度下降法）
最优化算法python实现篇(4)--无约束多维极值(梯度下降法) 摘要算法简介注意事项算法适用性 python实现实例运行结果算法过程可视化摘要本文介绍了多维无约束极值优化算法中的梯度 ...

最新文章

热门文章