《最优化理论与算法》最优化条件部分学习感悟
最优化学到了最优化条件部分，由于自己的数学功底实在是太差，啃得很慢。今天下午终于对“约束极值问题的最优性条件”部分有了相对宏观的视角，所以记录下来以备后用。
【必要条件】：如果已经知道了是最优解，那么它一定满足的条件。最优化中通常都是：”若x是局部最优解…”，这样说的都是必要条件。
【充分条件】：找一些条件，满足这些条件之后，此解就是最优的。最优化中通常都是先研究局部最小值的必要条件，之后加一个凸函数特性，将局部小必要条件转化为全局小充分条件。
一般约束问题之所以一般，是因为同时引入了g（m个不等式约束）和h（l个等式约束）两种约束。需要注意要对x进行约束不等式考察，只有起作用的不等式下标才会被归入I（起作用约束下标集），所以以下分析中所有的g都是通过I索引得到的。
接下来依次按照教材顺序进行阐述：
1.正则点：若g和h的梯度线性无关，则x是g和h的正则点。
最关键的还是线性无关。
2.构建H子空间：x是正则点，x的切平面=H，H是方向d集和，这些d和h的梯度点积为0，夹角为90度。
3.一般约束问题局部最优解必要条件（集和表示式）：如果x是局部最优解，那么F、G、H相交为空集。三个集和分别是：f的下降方向、起作用约束的可行方向锥、等式约束切平面。
4.一般约束问题局部最优解必要条件（Fritz John梯度合成式）：不需要管h梯度是否线性相关。如果x是局部最优解，则可以对f、g、h进行全加权梯度合成。
这个FJ必要条件有可能出现f梯度系数为0的情况，需要进行更严格约束。
5.一般约束问题局部最优解必要条件（K-T必要条件）：必须要求g梯度和h梯度线性无关。如果x是局部最优解，则可以对f、g、h进行f归一化梯度合成。（归一化指的是f梯度的系数为1）
K-T条件还可以写为带有互补松弛条件的等价形式（三行式）：f归一化梯度合成、不等式约束加权和为0、不等式约束系数非负。
6.Lagrange函数定义：直接由K-T条件得来，是广义化的提炼。定义了f归一化函数合成式L(x,w,v)。如果x是局部最优解，则存在w非负，v使得L梯度为0（f归一化梯度合成）。
7.凸规化最优解的充分条件：首先要求f是凸函数，g是凹函数，h是线性函数。如果x满足K-T必要条件（可以进行f归一化梯度合成），则x是全局最优解。
《最优化理论与算法》最优化条件部分学习感悟相关推荐
- 陈宝林《最优化理论与算法》超详细学习笔记 （五）————最优性条件 之 KKT条件
陈宝林<最优化理论与算法>超详细学习笔记 (五)----最优性条件 之 KKT条件 Lagrange对偶问题 原问题 Lagrange函数 Lagrange对偶函数 强/弱对偶性 弱对偶性 ...
- 陈宝林《最优化理论与算法》超详细学习笔记 （八）————最优性条件
陈宝林<最优化理论与算法>超详细学习笔记 (八)----最优性条件 无约束问题的极值条件 必要条件 二阶充分条件 充要条件 约束极值问题的最优性条件 不等式约束的一阶最优性条件 无约束问题 ...
- 陈宝林《最优化理论与算法》超详细学习笔记 （七）————第五章 运输问题
陈宝林<最优化理论与算法>超详细学习笔记 (七)----第五章 运输问题 第1节 运输问题的数学模型 第2节 表上作业法 2.1 确定初始基可行解 2.2 最优解的判别 2.3 改进的方法 ...
- 陈宝林《最优化理论与算法》超详细学习笔记 （二）————补充知识（凸集） 第二章 线性规划的基本性质
陈宝林<最优化理论与算法>超详细学习笔记 (二)----补充知识 凸集 & 第二章 线性规划的基本性质 补充知识 凸集 方向与极方向 表示定理 择一定理 第一章 线性规划的基本性质 ...
- 陈宝林《最优化理论与算法》超详细学习笔记 （四）————第四章 对偶理论
陈宝林<最优化理论与算法>超详细学习笔记 (四)----第四章 对偶理论 1. 对偶问题的提出 2. 线性规划的对偶理论 2.1 原问题与对偶问题的关系 2.2 对偶问题的基本性质 3. ...
- 陈宝林《最优化理论与算法》超详细学习笔记 （一）————第十章 使用导数的最优化方法（最速下降法、牛顿法、阻尼牛顿法）
陈宝林<最优化理论与算法>超详细学习笔记 (一)----第十章 使用导数的最优化方法(最速下降法.牛顿法.阻尼牛顿法) 写在前面 第十章 使用导数的最优化方法 最速下降法 牛顿法 阻尼牛顿 ...
- 陈宝林《最优化理论与算法》超详细学习笔记 （三）————单纯形法
陈宝林<最优化理论与算法>详细学习笔记 (三)----单纯形法 数学模型 最优性检验与解的判别 最优解的判别定理 无穷多最优解判别定理 无界解判别定理 其他情形 第三章 单纯形法 单纯形表 ...
- 最优化理论c语言代码,《统计学习导论基于R应用》PDF代码导图+《最优化理论与算法第2版》PDF习题指导...
要想深入理解机器学习,或者对人工智能的某个领域有所研究,都必须掌握统计学.最优化.矩阵及其应用等知识. 推荐<统计学习导论:基于R应用>,适合运用统计学习前沿技术分析数据的人士.读起来不费 ...
- 学习笔记《最优化理论与算法》（一）
从本文开始,按课堂笔记逐章节梳理<最优化理论与算法第二版>(陈宝林).同时,逐章节采用MATLAB实现优化算法(参考<精通最优化算法>. 小目标:多琢磨几个算法,多跑跑代码,多 ...
- 《最优化理论与算法》(陈宝林）——第1章：引言
文章目录 学科简述 线性与非线性规划问题 几个数学概念 向量范数与矩阵范数 序列的极限 梯度.Hesse矩阵.Taylor展开式 Jacobi矩阵.链式法则和隐函数存在定理 凸集和凸函数 凸集 是否是 ...
最新文章
- 【119】开始学习CMD
- 反arp攻击软件_网络安全工程师教Kali Linux：ARP欺骗概述
- 被动路由跟踪工具InTrace
- 数据分析的 8 种思维
- SkGradientShader::CreateLinear 的参数。
- git设置mergetool可视化工具
- python大数据_python大数据
- C++ double转CStringW/LPCWSTR
- Android 安全架构及权限控制机制剖析
- 计算机二合一二级基础知识软件,全国计算机等级考试笔试+上机题库二合一二级Visual FoxPro...
- 我的第一个字典-Dictionary
- 中国34个省市用字体logo 石昌鸿 字体设计-借用手法
- 十大热门编程语言：不死 Java、不朽 C/C ++、新贵 Python
- [极客大挑战 2019]Http 1（修改HTTP请求包）
- 9：中文乱码处理-Java Web
- 爱思助手(i4助手) v5.08 官方版
- 左手Python2 右手Python3，我该选择谁？
- LAMP环境源码搭建
- 【笨木头Lua专栏】基础补充01：巧说table的几种构造方式
- 差速轮轮速计建模和优化量求导