陈宝林《最优化理论与算法》超详细学习笔记 （八）————最优性条件
陈宝林《最优化理论与算法》超详细学习笔记 （八）————最优性条件
- 无约束问题的极值条件
- 必要条件
- 二阶充分条件
- 充要条件
- 约束极值问题的最优性条件
- 不等式约束的一阶最优性条件
无约束问题的极值条件
考虑非线性规划问题
minf(x),x∈Enmin f(x), x\in E^n minf(x),x∈En
其中f(x)f(x)f(x)是定义在EnE^nEn上的实值函数，这就是一个无约束极值问题（UNLP）。
必要条件
Th7.1.1(非极小点的充分条件) 设f(x)在点x处可微, 若存在方向d(≠0)∈Rn,d (\neq 0) \in R^{n},d(=0)∈Rn, 使得 ∇f(x∗)′d<0,\nabla f\left(x^{*}\right)^{\prime} d<0,∇f(x∗)′d<0, 则存在 δ>0,\delta>0,δ>0,
使得对任意 λ∈(0,δ),\lambda \in(0, \delta),λ∈(0,δ),有 f(x∗+λd)<f(x∗).f\left(x^{*}+\lambda d\right)<f\left(x^{*}\right) .f(x∗+λd)<f(x∗). 此时,我们称
ddd 为f(x)在x的一个下降方向。
证明根据一阶Taylor展式移项后除以λ\lambdaλ证明。
由此，我们可以得到极小值点的必要条件：
Th7.1.2-3.设x*处是问题(UNLP)的局部极小点.
(1)当 f(x)f(\boldsymbol{x})f(x) 在 x∗x^{*}x∗ 可微时,则梯度 ∇f(x∗)=0\nabla f\left(x^{*}\right)=0∇f(x∗)=0；
(2) 当 f(x)f(x)f(x) 在 x∗x^{*}x∗ 二次可微时. 则 ∇f(x∗)=0\nabla f\left(x^{*}\right)=0∇f(x∗)=0 且 Hessian 矩阵 H(x∗)\mathrm{H}\left(x^{*}\right)H(x∗) 是半正定的.
证明（1）根据定理7.1.1即可证明；
证明（2）根据二阶Taylor展式移项后除以λ2\lambda^2λ2证明。
二阶充分条件
Th7.1.4 (二阶充分条件). 假设 f(x)f(x)f(x) 在 x∗x^{*}x∗ 点二次可微, 若 ∇f(x∗)=0\nabla f\left(x^{*}\right)=0∇f(x∗)=0 且. Hessian 矩阵 H(x∗)\boldsymbol{H}\left(\boldsymbol{x}^{*}\right)H(x∗) 是正定的, 则 x∗x^{*}x∗ 是(UNLP) 的一个(严格)局部极小点
充要条件
Th7.1.5 (充要条件). 假设 f(x):Rn→Rf(x): R^{n} \rightarrow Rf(x):Rn→R 是 可微的凸函 数, 则 x∗x^{*}x∗ 是(UNLP)的全局最小点当且仅当 ∇f(x∗)=0\nabla f\left(x^{*}\right)=0∇f(x∗)=0.
证明必要性根据Th7.1.2，证明充分性根据∇f(x∗)(x−x∗)=0\nabla f\left(x^{*}\right)(x-x^*)=0∇f(x∗)(x−x∗)=0和凸函数的定义即可证明.
约束极值问题的最优性条件
可行方向：
设 x∈clS,d∈Rn.x \in \mathrm{c} lS, d \in R^{n} .x∈clS,d∈Rn. 若 ヨδ>0,ヨ\delta>0,ヨδ>0, 使得 ∀λ∈[0,δ],x+λd∈S\forall \lambda \in[0, \delta], x+\lambda d \in S∀λ∈[0,δ],x+λd∈S
则称d为集合S在点x的一个可行方向.集合S在x点的所有可
行方向集合称为S在x点的可行方向雉, 记为D(或FD(x,S))
D={d∣d≠0,x∈clS,∃δ>0,\boldsymbol{D}=\{\boldsymbol{d} \mid \boldsymbol{d} \neq 0, \boldsymbol{x} \in \boldsymbol{c} \boldsymbol{l} \boldsymbol{S}, \exists \delta>0,D={d∣d=0,x∈clS,∃δ>0, 使得对 ∀λ∈(0,δ),\forall \lambda \in(0, \delta),∀λ∈(0,δ), 有 x+λd∈S}x+\lambda d \in S\}x+λd∈S}
由可行方向定义和下降方向知， 从点 x∗,x^{*},x∗, 沿可行方向 d∈D(x∗)d \in D\left(x^{*}\right)d∈D(x∗) 作一个很小的移动还是可行点. 进一步，由 Th 7.1.1, 若 ∇f(x∗)d<0,\nabla f\left(x^{*}\right) d<0,∇f(x∗)d<0, 则d 是f在 x∗x^{*}x∗ 的下降方向。下面定理将说明 若
x∗x^{*}x∗ 是局部最优且 ∇f(x∗)d<0,\nabla f\left(x^{*}\right) d<0,∇f(x∗)d<0, 则 d∉D(x∗).d \notin D\left(x^{*}\right) .d∈/D(x∗). 即不是可行方向。
Th7.2.1. (必要条件) 考虑极小化问题：:
minf(x),\min f(\boldsymbol{x}),minf(x), subject to x∈S\boldsymbol{x} \in \boldsymbol{S}x∈S
其中 SSS 是 RnR^{n}Rn 中非空集合, \quad 设 f(x)f(x)f(x) 在 x∗x^{*}x∗ 可微。 若 x∗x^{*}x∗ 是局部极 小点, \quad 则 F0(x∗)∩D=∅,F_{0}\left(x^{*}\right) \cap D=\varnothing,F0(x∗)∩D=∅, 其中 F0(x∗)={d∣∇f(x∗)d<0},DF_{0}\left(x^{*}\right)=\left\{d \mid \nabla f\left(x^{*}\right) d<0\right\}, DF0(x∗)={d∣∇f(x∗)d<0},D 是 SSS
在 x∗x^{*}x∗ 的可行方向锥。
利用反证法与局部极小矛盾即可证明。
不等式约束的一阶最优性条件
考察非线性规划
minf(x)\min f(x)minf(x)
s,tgi(x)≥0,i=1,2,…,ms, t \quad g_{i}(x) \geq 0, \quad i=1,2, \ldots, ms,tgi(x)≥0,i=1,2,…,m
可行域S={x∣gi(x)≥0,i=1,2,..,m}S =\left\{x \mid g_{i}(x) \geq 0, i=1,2, . ., m\right\}S={x∣gi(x)≥0,i=1,2,..,m}
Th7.2.2. (必要条件) 老虑极小化问题
minf(x)\min f(x)minf(x) subject to gi(x)≥0,i=1,…,m,x∈Sg_{i}(x) \geq 0, \quad i=1, \ldots, m, \quad x \in Sgi(x)≥0,i=1,…,m,x∈S
其中 SSS 是 RnR^{n}Rn 中的非空开集。 \quad 设 x∗x^{*}x∗ 为可行点, I={i∣gi(x∗)=0}\quad I=\left\{i \mid g_{i}\left(x^{*}\right)=0\right\}I={i∣gi(x∗)=0} 进一步假设, f(x)\quad f(x)f(x) 和 gi(x)(i∈I)g_{i}(x) \quad(i \in I)gi(x)(i∈I) 在 x∗x^{*}x∗ 可微 ,gi(i∉I), g_{i} \quad(i \notin I) \quad,gi(i∈/I) 在 x∗x^{*}x∗ 连续. 若 x∗x^{*}x∗ 是局部最优解, 则 F0(x∗)∩G0(x∗)=∅\quad F_{0}\left(x^{*}\right) \cap G_{0}\left(x^{*}\right)=\varnothingF0(x∗)∩G0(x∗)=∅ 圭中 F0(x∗)={d∣∇f(x∗)d<0},G0(x∗)={d∣∇gi(x∗)d>0,i∈I}F_{0}\left(x^{*}\right)=\left\{d \mid \nabla f\left(x^{*}\right) d<0\right\}, \quad G_{0}\left(x^{*}\right)=\left\{d \mid \nabla g_{i}\left(x^{*}\right) d>0, \quad i \in I\right\}F0(x∗)={d∣∇f(x∗)d<0},G0(x∗)={d∣∇gi(x∗)d>0,i∈I}
7。最优性条件
Th7.2.3. (Fritz John Condition, 1948)考虑极小化问题 minf(x)\min f(x)minf(x) subject to gi(x)≥0,i=1,…,m,x∈S,g_{i}(x) \geq 0, \quad i=1, \ldots, m, \quad x \in S,gi(x)≥0,i=1,…,m,x∈S,
其中 SSS 是 En.E^{n} .En. 中非空开集. 设 x∗x^{*}x∗ 为可行点, I={i∣gi(x∗)=0}.I=\left\{i \mid g_{i}\left(x^{*}\right)=0\right\} .I={i∣gi(x∗)=0}. 进一 步假设 f(x)f(x)f(x) 和 gi(x)(i∈I)g i(x)(i \in I)gi(x)(i∈I) 在 x∗x^{*}x∗ 可微, gi(i∉I)g_{i}(i \notin I)gi(i∈/I) 在 x∗x^{*}x∗ 连续. 若 x∗x^{*}x∗ 是局部最优解:则存在一组非负数 u0,ui(i∈I)u_{0}, u_{i}(i \in I)u0,ui(i∈I) 使得
u0∇f(x∗)−∑ui∇gi(x∗)=0,u0,ui≥0for i∈Iand (u0,uI)≠0u_{0} \nabla f\left(x^{*}\right)-\sum u_{i} \nabla g_{i}\left(x^{*}\right)=0, u_{0}, u_{i} \geq 0 \text { for } i \in I \text { and }\left(u_{0}, u_{I}\right) \neq 0 u0∇f(x∗)−∑ui∇gi(x∗)=0,u0,ui≥0 for i∈I and (u0,uI)=0
进一步, 若 gi(x)(i∉I)g_{i}(x)(i \notin I)gi(x)(i∈/I) 在 x∗x^{*}x∗ 也可微, \quad 则
u0∇f(x∗)−∑i=1i=mui∇gi(x∗)=0uigi(x∗)=0,u0,ui(所有 i),且 (u0,u)≠0\begin{array}{c} u_{0} \nabla f\left(\boldsymbol{x}^{*}\right)-\sum_{i=1}^{i=m} u_{i} \nabla g_{i}\left(\boldsymbol{x}^{*}\right)=0 \\ u_{i} g_{i}\left(\boldsymbol{x}^{*}\right)=0, u_{0}, u_{i}(\text { 所有 } i), \text { 且 }\left(u_{0}, \boldsymbol{u}\right) \neq 0 \end{array} u0∇f(x∗)−∑i=1i=mui∇gi(x∗)=0uigi(x∗)=0,u0,ui( 所有 i), 且 (u0,u)=0
若 Lagrangian 乘子u0=0u_0 =0u0=0, 则 Fritz John 条件 不包含 f(x)f(x)f(x)的任何信息，它仅仅是表明可以把起作用约束的梯度作一个非负的 非平凡的线性组合而成为零向量。从而对我们的最优解没有多 少实用价值。
为保证u0>0u_0>0u0>0,可以对约束强加某种限制，这种限制条件叫做约 束规格或约束品性( constraint qualifications).已有很多的约束 规格，特别的, Karush [1939, MS Thesis, Dept of Math, Univ of Chicago] , Kuhn 和 Tucker [1951] 独立给出的最优性必要条件 恰是 Fritz John 条件加上 u0>0u_0>0u0>0.
Th7.2.4. (Karush-Kuhn-Tucker 必要条件)考虑极小化问题 minf(x)\min f(x)minf(x) subject to gi(x)≥0,i=1,…,m,x∈S,g_{i}(x) \geq 0, \quad i=1, \ldots, m, x \in S,gi(x)≥0,i=1,…,m,x∈S,
其中 SSS 是 EnE^{n}En.中非空开集. 设 x∗x^{*}x∗ 为可行点, I={i∣gi(x∗)=0}.I=\left\{i \mid g_{i}\left(x^{*}\right)=0\right\} .I={i∣gi(x∗)=0}. 进一 步假设 f(x)f(x)f(x) 和 gi(x)(i∈I)g_{i}(x)(i \in I)gi(x)(i∈I) 在 x∗x^{*}x∗ 可微, gi(i∉I)g_{i}(i \notin I)gi(i∈/I) 在 x∗x^{*}x∗ 连续. ∇gifori∈I\nabla g_{i} for i\in I∇gifori∈I 线性独立.若 x∗x^{*}x∗ 是局部最优解.则存在一组非负数 ui(i∈I)u_{i}(i \in I)ui(i∈I) 使 得
∇f(x∗)−∑i∑lui∇gi(x∗)=0,ui≥0(i∈I)\nabla f\left(\boldsymbol{x}^{*}\right)-\sum_{i} \sum_{l} u_{i} \nabla g i\left(\boldsymbol{x}^{*}\right)=\mathbf{0}, u_{i} \geq 0(i \in \boldsymbol{I}) ∇f(x∗)−i∑l∑ui∇gi(x∗)=0,ui≥0(i∈I)
若还有 gi(i∉I)g_{i}(i \notin I)gi(i∈/I) 在 x∗x^{*}x∗ 可微, 则
∇f(x∗)−∑i=1i=mui∇gi(x∗)=0uigi(x∗)=0,ui≥0,i=1,…,m\begin{array}{l} \nabla f\left(\boldsymbol{x}^{*}\right)-\sum_{i=1}^{i=m} u_{i} \nabla g_{i}\left(\boldsymbol{x}^{*}\right)=\mathbf{0} \\ u_{i} g_{i}\left(\boldsymbol{x}^{*}\right)=0, u_{i} \geq 0, \quad i=1, \ldots, m \end{array} ∇f(x∗)−∑i=1i=mui∇gi(x∗)=0uigi(x∗)=0,ui≥0,i=1,…,m
Karush-Kuhn-Tucker 条件可写成向量形式 ∇f(x∗)−u∇g(x∗)=0\nabla f\left(\boldsymbol{x}^{*}\right)-\boldsymbol{u} \nabla \boldsymbol{g}\left(\boldsymbol{x}^{*}\right)=\boldsymbol{0}∇f(x∗)−u∇g(x∗)=0
ug(x∗)=0u g\left(x^{*}\right)=0ug(x∗)=0
u>0u>0u>0
陈宝林《最优化理论与算法》超详细学习笔记 （八）————最优性条件相关推荐
- 陈宝林《最优化理论与算法》超详细学习笔记 （三）————单纯形法
陈宝林<最优化理论与算法>详细学习笔记 (三)----单纯形法 数学模型 最优性检验与解的判别 最优解的判别定理 无穷多最优解判别定理 无界解判别定理 其他情形 第三章 单纯形法 单纯形表 ...
- 陈宝林《最优化理论与算法》超详细学习笔记 （七）————第五章 运输问题
陈宝林<最优化理论与算法>超详细学习笔记 (七)----第五章 运输问题 第1节 运输问题的数学模型 第2节 表上作业法 2.1 确定初始基可行解 2.2 最优解的判别 2.3 改进的方法 ...
- 陈宝林《最优化理论与算法》超详细学习笔记 （四）————第四章 对偶理论
陈宝林<最优化理论与算法>超详细学习笔记 (四)----第四章 对偶理论 1. 对偶问题的提出 2. 线性规划的对偶理论 2.1 原问题与对偶问题的关系 2.2 对偶问题的基本性质 3. ...
- 陈宝林《最优化理论与算法》超详细学习笔记 （一）————第十章 使用导数的最优化方法（最速下降法、牛顿法、阻尼牛顿法）
陈宝林<最优化理论与算法>超详细学习笔记 (一)----第十章 使用导数的最优化方法(最速下降法.牛顿法.阻尼牛顿法) 写在前面 第十章 使用导数的最优化方法 最速下降法 牛顿法 阻尼牛顿 ...
- 陈宝林《最优化理论与算法》超详细学习笔记 （五）————最优性条件 之 KKT条件
陈宝林<最优化理论与算法>超详细学习笔记 (五)----最优性条件 之 KKT条件 Lagrange对偶问题 原问题 Lagrange函数 Lagrange对偶函数 强/弱对偶性 弱对偶性 ...
- 陈宝林《最优化理论与算法》超详细学习笔记 （二）————补充知识（凸集） 第二章 线性规划的基本性质
陈宝林<最优化理论与算法>超详细学习笔记 (二)----补充知识 凸集 & 第二章 线性规划的基本性质 补充知识 凸集 方向与极方向 表示定理 择一定理 第一章 线性规划的基本性质 ...
- 【台大郭彦甫】Matlab入门教程超详细学习笔记二：基本操作与矩阵运算（附PPT链接）
Matlab入门教程超详细学习笔记二:基本操作与矩阵运算 前言 一.基本操作 1.把matlab当作计算器使用 2.变量 3.控制格式输出 二.矩阵运算 1.矩阵 2.矩阵索引 3.使用:创建向量 4 ...
- Java数据库部分（MySQL+JDBC）（一、MySQL超详细学习笔记）
所有示例使用的数据表均为Oracle提供的SQL基础数据表(t_employees.sql dept.sql emp.sql salgrade.sql) 熟练掌握多多练习即可达到完成后端开发所需具备的 ...
- MITRE ATTCK超详细学习笔记-01（背景，术语，案例）
文章目录 1. ATT&CK框架简介 1.1 背景 1.2 特点 1.3 与Cyber Kill Chain的关系 2. ATT&CK相关术语 2.1 Matrix 2.2 TTPs ...
最新文章
- 生物信息学基本知识笔记
- mysql,gone away, hy000, reconnect，Mysql大sql文件导入
- python中的sys.argv是什么？（控制台参数传递、控制台传参）
- System类的常用方法及类字段
- Centos 7 设置tomcat开机自启动
- python自定义配置文件读取_python读取和自定义配置文件的方法
- 程序员月入2万与5千，这就是差距！
- 隐藏input的光标
- 渗透函数实现排序的函数层次聚类或者叫做凝
- java倒序输出英文句子_Java实现英文句子中的单词顺序逆序输出的方法
- Amcharts曲线图，简单明了，看完立马就上手
- swift跳转到故事版的界面
- oracle调用web severs,Oracle调用C#开发web services
- 共好：为管理者提供指南(肯·布兰佳)
- 如何基于EasyCVR视频能力与AI技术助力工业园区智能管理？
- textarea 中如何阻止默认的回车换行事件？
- C++：实现量化Libor市场模型流程测试实例
- 摘抄整理-20161115-程序员思维修炼
- 网站前端进行违禁词过滤js代码
- 美杀人魔BTK与警方玩“老鼠戏猫”游戏31年，却栽在一个小小的word文档上面！...