最优化--中科院实景课堂--第二节局部极小点+凸函数+无约束优化引言

1、目标函数很复杂，甚至可能需要采样，而且来之不易。因此需要用少的步数算出最值

2、gloal、local（weak平/strict严格/isolated孤立[他的邻域内只有这样一个极小点，没有震荡]）

3、我们找的是在邻域内的最小

4、泰勒中值定理

考虑高维
f多维到一维的映射函数，连续可微分，x是高维。且在二次连续可微下：

首先是转置，直观理解这里是因为是多维到一维的原因。
然后是tp，这里可以看作是泰勒中值定理中余项。

5、判断条件
一阶必要条件：梯度等于0；

必要条件：
反证法
假设最优点梯度不等于0

说是不等于0，那可以构造一个负梯度方向，然后和梯度的内积小于0，因此在这个点的邻域内的内积也是小于0的。因此带入这个邻域内一个点就会发现矛盾。

二阶时充分条件：由一阶的证明，可知梯度等于0；同时Hessian矩阵半正定时是局部极小点。

反正法：
Hessian矩阵不是半正定

同一阶的证明思路
注意，连续函数极值点都是稳定点（也叫鞍点，但是反过来不行）

充分条件：
注意，这里只有二阶的充分条件。
二阶导数组成的Hessian邻域连续，一阶导数等于零，二阶导数正定，则是严格的局部极小点。
证明，反证法
由于连续和正定，推出在x*邻域内也是正定的
在邻域球D中，p是球中其中任意一个方向

但是并不是所有的局部极小点都满足这个条件，比如x^4，的hessian是半正定的。

6、结合凸
因为很多都是凸函数，同时就算不是凸函数，在极小点附近有很好的凸性。
(1)、如果是一个凸函数，并且是局部极小点，那么也是全局极小点；
(2)、如果是一个凸函数，并且可微的，那么任意一个稳定点（梯度等于0，因此这种情况下可以转化为直接求梯度等于0）都是全局极小点。

证明，反证：
(1)、局部极小点不是全局极小点
取x到z的点（这里lammd如果在0附近，那就靠近x）

这里推出矛盾，即x不是局部极小点。
(2)、稳定点不是全局极小点
已知：梯度等于0（稳定点）。假设：存在z，使f(z)<f(x)
对于之前凸函数定义不等式的左边那一项，将它变形（注意这里的z是全局极小点），并对lammda求导（这里首先把它看作所标量lammda的函数），可以得到这样的一个等式

因为f本身是x的函数（括号里面仅是传入的参数），因此对lammda求导首先要对x求导。
同时导数也可以看作是割线的斜率，因此

对于分子第一项，可以按照凸函数（证明的关键）的标准形式可知小于等于。。。因此带入可知lammda取0-1

约掉lammda得到

按照假设时小于0的。
取lammda=0，又因为梯度小于0.带入可知

7、无约束优化的步骤
1)、得到初始点;
2)、算法：线搜索、信赖域
3)、终止：阈值或者更新不动

最优化--中科院实景课堂--第二节局部极小点+凸函数+无约束优化引言相关推荐

火云开发课堂 - 《使用Cocos2d-x 开发3D游戏》系列第二节:Cocos引擎开发环境搭建与项目创建!
<使用Cocos2d-x 开发3D游戏>系列在线课程第二节:Cocos引擎开发环境搭建与项目创建! 视频地址:http://edu.csdn.net/course/detail/1330 ...
第二节认识计算机教案,第二章第二节局域网的构建教学设计_博客
<第二章第二节局域网的构建教学设计_博客>由会员分享,可在线阅读,更多相关<第二章第二节局域网的构建教学设计_博客(3页珍藏版)>请在装配图网上搜索. 1.第二章 ...
c++ 传智课件_沪科版初中物理九年级全册第二节科学探究：物质的比热容公开课优质课课件教案视频...
第十二章温度与物态变化PPT课件教案下载_初中物理沪科版九年级全一册师梦圆第一节温度与温度计PPT课件教案下载_初中物理沪科版九年级全一册师梦圆第二节熔化与凝固PPT课件教案下载_初中物理沪 ...
高等数学精讲02 第一章第二节极限01
第二节极限概要: 极限是用来研究函数的工具,整个第一章的重点和难点. 主要内容选择题和证明题: 一.极限的概念二.极限的性质三.极限的存在准则极限的极端状态: 四.无穷小五.无穷大量主 ...
【v2.x OGE-example 第二章（第二节）修改器的使用】
2019独角兽企业重金招聘Python工程师标准>>> [v2.x OGE-example 第二章(第二节) 修改器的使用] 1. 位置:Modifier_example --> ...
SQL Server性能调优之执行计划深度剖析第二节执行计划第一次实践
SQL Server性能调优之执行计划深度剖析第二节执行计划第一次实践前言:自从上一篇文章发出之后,收到了很朋友的关注.很多朋友要求多多实践,而不是纯粹的理论.确实,从打算出这个系列开始,我就本 ...
工程项目管理丁士昭第二版_2021年软考系统集成项目管理工程师知识点预习第十四章第二节...
听说99%的同学都来这里充电吖为了方便大家尽早投入2021年的软考考试备考中,我们已开始连载<系统集成项目管理工程师>知识点,今天带来的是第十四章第二节编制询价~ 知识点:第十四章 ...
第二节 RabbitMQ配置
第二节 RabbitMQ配置原文:第二节 RabbitMQ配置版权声明:未经本人同意,不得转载该文章,谢谢 https://blog.csdn.net/phocus1/article/detail ...
Simulink仿真第二节输入输出和子系统
第二节输入输出和子系统可将某一功能创建成为一个子系统,如下图所示:第一张图为完整图,第二张图为创建了子系统的图,两张图的功能一模一样. 双击子系统显示为下图所示第三节 Groud(接地)模块和T ...

最优化--中科院实景课堂--第二节局部极小点+凸函数+无约束优化引言

最优化--中科院实景课堂--第二节局部极小点+凸函数+无约束优化引言相关推荐

最新文章

热门文章

最优化--中科院实景课堂--第二节 局部极小点+凸函数+无约束优化引言

最优化--中科院实景课堂--第二节 局部极小点+凸函数+无约束优化引言相关推荐

最新文章

热门文章

最优化--中科院实景课堂--第二节局部极小点+凸函数+无约束优化引言

最优化--中科院实景课堂--第二节局部极小点+凸函数+无约束优化引言相关推荐