最优化的相关条件

一. 局部极值点的必要条件

既然在前一节中我们对于局部(全局)极值点进行了讨论，那么我们也想要知道，如果一个点是极值点，那么它需要满足什么条件？

1. 局部极小点的必要条件

若点x₀是函数f(x)的局部极小值点，则有：

x₀是f(x)的驻点——(f(x)在x₀处的一阶导数为0)
f(x)在x₀处的Hessian矩阵H(x₀)是半正定的

2. 证明

【自我小结】

有关极值的相关证明经常用到极值的定义和泰勒展开

反证法也是经常用到的证明思路

为了构造出上面所需的定义和泰勒展开式，往往会取某个点的邻域进行相应的演算。

3. 局部极大点的必要条件

前面虽然都是在以局部极小点为例进行探讨，但是我们可以很容易地将结论迁移类比到局部极大值上面。

根据上图我们可知，如果一个点x₀是f(x)的局部极大值点，则有：

f(x)在x₀处的一阶导数值为0
f(x)在x₀的Hessian矩阵是负半定的

二. 局部极值点的充分条件

1. 局部极小值的充分条件

若函数f(x)上的某一点x₀满足：

x₀是f(x)的驻点——(f(x)在x₀处的一阶导数为0)
f(x)在x₀处的Hessian矩阵H(x₀)是正定的

则可得到，x₀就是f(x)的严格的局部极小值点(<)

2. 证明

3. 注意事项

①对照充分条件和必要条件，可知充分条件比必要条件更加严苛(必要条件涵盖了充分条件)
②充分条件的适用范围更窄，函数需要定义在开集上，且函数需要二阶可微

在实际问题中，函数往往是定义在闭集上，而且最优点很可能就出现在端点上。

这个时候，我们可以先利用充分条件找到该闭集对应的开集中的最优点，再和端点上的函数值进行比较，从而确定整个闭集上的最优点。

③用充分条件可以直接找到极值点中的所有非奇异点，奇异点则较难寻找

注意分辨“充分条件和“必要条件”的关系

满足了充分条件的点一定是非奇异极值点，不满足充分条件的点不一定不是极值点

所有极值点都必须满足必要条件，满足了必要条件不一定就是极值点

满足了必要条件，但不满足充分条件的那些极值点就称为奇异点

④对于一个定义在开集X上的可微凸函数f(x)而言，▽f(x^*) = 0↔点x^*是f(x)的全局极小值点。

【简要证明】
根据上一篇博文《【最优化】最优化理论的基本概念》中的《可微函数的凸性三定理》的定理一：

我们可以任取一个x∈X，则有f(x)-f(x^*)≥▽f(x^*)^T·(x-x^*)；
又因为根据题意，▽f(x^*)^T = 0，所以可得f(x)-f(x^*)≥0

从而证得x^*就是f(x)的全局极小值点。

【例】求解给定函数的局部极值点

关于极值点求解的题型要注意：

求解出驻点之后，一定要用二阶导进行验证，才能明确是不是极小(大)值点
只能得出该点满足必要条件，则不能下结论说该点是局部极值点
不同函数在某点的一阶导和二阶导处具有相同的性质，这并不意味着该点在两个函数中是相同性质的点，可以通过计算更高阶导数进行分析

三. 局部极值点的存在条件

不是所有的函数都存在极值点：

1. 极值点的存在条件

总的来说，我们只需要记住在一个给定的有界区间内求解，一般都是有极值点的

2. 讨论极值点的各类条件的原因

本节我们讨论了极值点的充分、必要、充分必要及存在性条件。

帮助理解极值求解过程
当条件满足时，我们可以适时地终止一个迭代算法
可以帮助优化算法

【最优化】最优化的相关条件相关推荐

人工智能的本质是最优化过程
模型三要素为了将事物和问题转化为最优化问题数学模型我们需要考虑三个要素:因素变量.约束条件和目标函数.我们根据事物和问题先找到影响模型的所有因素变量,然后再根据目的建立一个目标函数用来衡量系统的效果 ...
CS231n 学习笔记（3）——神经网络 part3 ：最优化
stanford的course note 近日在维护中,所以换了http://cs231n.stanford.edu/slides/网页的lecture4作为最优化部分的学习资料. 训练神经网络的三要 ...
22张精炼图笔记，深度学习专项学习必备
作者 | DL&CV_study9 编辑 | Elle 来源 | CSDN 博客本文为人工智能学习笔记记录. [深度学习基础篇] 一.深度学习基本概念监督学习:所有输入数据都有确定的对应输 ...
22张图全解深度学习知识，建议收藏
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达转载于:Sophia知乎 https://zhuanlan.zhih ...
22张深度学习精炼图笔记总结
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:机器学习算法那些小事最近在做笔记查阅内容,觉得这个总结 ...
22张深度学习精炼图笔记总结（附原版下载）
来源:迈微AI研习社本文约7800字,建议阅读10分钟本文介绍了吴恩达在推特上展示了一份由 TessFerrandez 完成的深度学习专项课程信息图,这套信息图优美地记录了深度学习课程的知识与亮点. ...
干货 | 吴恩达亲自为这份深度学习专项课程精炼图笔记点了赞！（附下载）
来源:机器之心.AI有道本文约7500字,建议阅读10+分钟. 本文整理了深度学习基础.卷积网络和循环网络的学习笔记,附下载哦~ [ 导读 ]吴恩达在推特上展示了一份由 TessFerrandez ...
这份深度学习课程笔记获吴恩达点赞
来源:机器之心本文共7470字,建议阅读8分钟. 通过本文用优美的信息图为大家解读深度学习课程的知识与亮点~ 吴恩达在推特上展示了一份由 TessFerrandez 完成的深度学习专项课程信息图,这 ...
超级干货丨优美的课程笔记，吴恩达点赞的深度学习课程信息图
吴恩达在推特上展示了一份由 TessFerrandez 完成的深度学习专项课程信息图,这套信息图优美地记录了深度学习课程的知识与亮点.因此它不仅仅适合初学者了解深度学习,还适合机器学习从业者和研究者复 ...

【最优化】最优化的相关条件

最优化的相关条件

一. 局部极值点的必要条件

二. 局部极值点的充分条件

三. 局部极值点的存在条件

【最优化】最优化的相关条件相关推荐

最新文章

热门文章