最优化建模、算法与理论(四)—— 最优性理论
参考书籍《最优化:建模、算法与理论》
文章目录
- 1 最优化问题解的存在性
- 1.1 Weierstrass 定理
- 1.2 强拟凸函数
- 1.3 唯一性定理
- 2 无约束可微问题的最优性理论
- 2.1 一阶最优性条件
- 2.2 二阶最优性条件
- 3 无约束不可微问题的最优性理论
- 3.1 凸优化问题一阶充要条件
- 3.2 复合优化问题的一阶必要条件
- 4 对偶理论
- 4.1 拉格朗日函数与对偶问题
在实际中最优化问题的形式多种多样.给定一类具体的优化问题,我们首先需要分析其解的 存在性,如果优化问题的解存在,再考虑如何设计算法求出其 最优解,一般的非凸优化问题可能存在很多局部极小解,但其往往也能够满足实际问题的要求,对于这些局部(全局)极小解的求解,最优性理论是至关重要的。
1 最优化问题解的存在性
1.1 Weierstrass 定理
在数学分析课程中,我们学习过 Weierstrass定理,即定义在紧集上的连续函数一定存在最大 (最小) 值点.而在许多实际问题中,定义域可能不是连续的,目标函数也不一定连续,因此需要将此定理推广来保证最优化问题解的存在性,下面的推广定理给出了最优解的存在性条件。
定理 5.1 (Weierstrass 定理) 考虑一个适当且闭的函数 f : X → ( − ∞ , + ∞ ] f : {\mathcal X} → (−∞,+∞] f:X→(−∞,+∞],假设下面三个条件中任意一个成立:
(1) d o m f = d e f { x ∈ X : f ( x ) < + ∞ } {\bf dom} f \overset{def}{=} \{x ∈ {\mathcal X} : f(x) < +∞\} domf=def{x∈X:f(x)<+∞}是有界的;
(2) 存在一个常数 γ − \overset{-}{\gamma} γ− 使得下水平集 C γ − = d e f { x ∈ X : f ( x ) ⩽ γ − } C_{\overset{-}{\gamma}} \overset{def}{=} \{x ∈ {\mathcal X} : f(x) ⩽ \overset{-}{\gamma}\} Cγ−=def{x∈X:f(x)⩽γ−}是非空且有界的;
(3) f 是强制的,即对于任一满足 ∥ x k ∥ → + ∞ ∥x^k∥ → +∞ ∥xk∥→+∞的点列 { x k } ⊂ X \{x^k\} ⊂ {\mathcal X} {xk}⊂X,都有 lim k → ∞ f ( x k ) = + ∞ \lim_{k→∞} f(x^k) = +∞ limk→∞f(xk)=+∞,
那么,问题 min x ∈ R n f ( x ) , s . t . x ∈ X \min_{x∈R^n} f(x), s.t. x ∈ {\mathcal X} minx∈Rnf(x),s.t.x∈X的最小值点集 { x ∈ X ∣ f ( x ) ⩽ f ( y ) , ∀ y ∈ X } \{x ∈ {\mathcal X} | f(x) ⩽ f(y), ∀y ∈ {\mathcal X} \} {x∈X∣f(x)⩽f(y),∀y∈X} 是非空且紧的。
三个条件在本质上都是保证 f(x) 的最小值不能在无穷远处取到,因此我们可以仅在一个有界的下水平集中考虑 f(x) 的最小值.同时要求 f(x) 为适当且闭的函数,并不需要 f(x) 的连续性
1.2 强拟凸函数
定义 5.1 (强拟凸函数) 给定凸集 X 和函数 f : X → ( − ∞ , + ∞ ] f : {\mathcal X} → (−∞,+∞] f:X→(−∞,+∞],如果对任意的 x ≠ y x \neq y x=y 和 λ ∈ (0, 1),都有 f ( λ x + ( 1 − λ ) y ) < max { f ( x ) , f ( y ) } f(λx + (1 − λ)y) < \max\{ f(x), f(y)\} f(λx+(1−λ)y)<max{f(x),f(y)},那么我们称函数 f 是强拟凸的。
强拟凸函数的几何意义是定义域内任何两点之间线段上的函数值不会大于两个端点处函数值的最大值,一般来说,强拟凸函数不一定是凸函数,但其任意一个下水平集都是凸集,并可以包含一部分性质较好的非凸函数。
注:此处凸函数的定义与同济版高等数学中凸函数的定义不同。
1.3 唯一性定理
定理 5.2 (唯一性定理) 对于问题 min x ∈ R n f ( x ) , s . t . x ∈ X \min_{x∈R^n} f(x), s.t. x ∈ {\mathcal X} minx∈Rnf(x),s.t.x∈X,设 X {\mathcal X} X 是 R n R^n Rn 的一个非空、紧且凸的子集,如果 f : X → ( − ∞ , + ∞ ] f : {\mathcal X} → (−∞,+∞] f:X→(−∞,+∞]是适当、闭且强拟凸函数,那么存在唯一的 x ∗ x^∗ x∗ 满足 f ( x ∗ ) < f ( x ) , ∀ x ∈ X \ { x ∗ } f(x^∗) < f(x), ∀x ∈ {\mathcal X} \backslash \{x^∗\} f(x∗)<f(x),∀x∈X\{x∗}
利用此结论,可知对任何定义在有界凸集上的闭强凸函数,其最优解都是唯一存在的,但是对于一般的凸函数,其最优解可能不唯一。
2 无约束可微问题的最优性理论
无约束可微优化问题通常表示形式为: min x ∈ R n f ( x ) \min_{x∈R^n} f(x) minx∈Rnf(x)。
2.1 一阶最优性条件
定义 5.2 (下降方向) 对于可微函数 f 和点 x ∈ R n x ∈ R^n x∈Rn,如果存在向量 d 满 足 ∇ f ( x ) T d < 0 ∇ f(x)Td < 0 ∇f(x)Td<0,那么称 d 为 f 在点 x 处的一个下降方向。
定理 5.3 (一阶必要条件) 假设 f 在全空间 R n R^n Rn 可微.如果 x ∗ x^∗ x∗ 是一个局部极小点,那么 ∇ f ( x ∗ ) = 0 ∇ f(x^∗) = 0 ∇f(x∗)=0
我们称满足 ∇ f ( x ) = 0 ∇ f(x) = 0 ∇f(x)=0的点 x 为 f 的稳定点(有时也称为驻点或临界点)。
2.2 二阶最优性条件
在没有额外假设时,如果一阶必要条件满足,我们仍然不能确定当前点是否是一个局部极小点.这里考虑使用二阶信息来进一步判断给定点的最优性。
定理 5.4 假设 f 在点 x ∗ x^∗ x∗ 的一个开邻域内是二阶连续可微的,则以下最优性条件成立:
二阶必要条件 如果 x ∗ x^∗ x∗ 是 f 的一个局部极小点,那么 ∇ f ( x ∗ ) = 0 , ∇ 2 f ( x ∗ ) ⪰ 0 ∇ f(x∗) = 0, ∇^2 f(x∗) ⪰ 0 ∇f(x∗)=0,∇2f(x∗)⪰0;
二阶充分条件 如果在点 x ∗ x^∗ x∗ 处有 ∇ f ( x ∗ ) = 0 , ∇ 2 f ( x ∗ ) ≻ 0 ∇ f(x∗) = 0, ∇^2 f(x∗) ≻ 0 ∇f(x∗)=0,∇2f(x∗)≻0成立,那么 x ∗ x^∗ x∗ 为 f 的一个局部极小点。
二阶最优性条件给出的仍然是关于局部最优性的判断.对于给定点的全局最优性判断,我们还需要借助实际问题的性质,比如目标函数是凸的、非线性最小二乘问题中目标函数值为 0 等。
3 无约束不可微问题的最优性理论
3.1 凸优化问题一阶充要条件
0 ∈ ∂ f ( x ∗ ) 0 ∈ ∂ f(x^∗) 0∈∂f(x∗) 是 x ∗ x^∗ x∗ 为全局最优解的充要条件.这个结论比定理5.3要强,其原因是凸问题有非常好的性质,它的稳定点中不存在鞍点。因此,可以通过计算凸函数的次梯度集合来求解其对应的全局极小点,相较于非凸函数,凸函数的最优性分析简单,计算以及验证起来比较方便,因此在实际建模中受到广泛的关注。
3.2 复合优化问题的一阶必要条件
在实际问题中,目标函数不一定是凸函数,但它可以写成一个光滑函数与一个非光滑凸函数的和,形如: min x ∈ R n ψ ( x ) = d e f f ( x ) + h ( x ) \min_{x∈R^n}ψ(x) \overset{def}{=} f(x) + h(x) minx∈Rnψ(x)=deff(x)+h(x),其中f为光滑函数(可能非凸),h为凸函数(可能非光滑)。对于其任何局部最优解,我们给出如下一阶必要条件:
定理 5.6 (复合优化问题一阶必要条件) 令 x ∗ x^∗ x∗ 为一个局部极小点,那么 − ∇ f ( x ∗ ) ∈ ∂ h ( x ∗ ) −∇ f(x^∗) ∈ ∂h(x^∗) −∇f(x∗)∈∂h(x∗),其中 ∂ h ( x ∗ ) ∂h(x^∗) ∂h(x∗) 为凸函数 h 在点 x ∗ x^∗ x∗ 处的次梯度集合。
注意,由于目标函数可能是整体非凸的,因此一般没有一阶充分条件。
4 对偶理论
对偶很容易联想到对称之类的概念,这个翻译带有迷惑性,数学中的对偶问题其实是duality provides a different angle to look at some mathematical objects
,也就是将复杂问题转换为等价的简单问题,分为强对偶和弱对偶。
后面都将以一般约束化问题为例,一般约束化问题形式为:
min x ∈ R n f ( x ) ; c i ( x ) ⩽ 0 , i ∈ τ ; c i ( x ) = 0 , i ∈ ξ ( 5.4.1 ) \min_{x \in R^n} f(x); ci(x) ⩽ 0, i ∈ \tau;ci(x) = 0, i ∈ \xi\quad(5.4.1) x∈Rnminf(x);ci(x)⩽0,i∈τ;ci(x)=0,i∈ξ(5.4.1)
4.1 拉格朗日函数与对偶问题
- 拉格朗日函数是研究问题(5.4.1)的重要工具之一,它的基本思想是给该问题中的每一个约束指定一个拉格朗日乘子,以乘子为加权系数将约束增加到目标函数中,令 λ i λ_i λi 为对应于第 i 个不等式约束的拉格朗日乘子, ν i ν_i νi 为对应于第 i 个等式约束的拉格朗日乘子
- 构造对偶问题的基本原则:对拉格朗日乘子添加合适的约束条件,使得 f(x) 在问题(5.4.1)任意可行点 x 处大于或等于相应拉格朗日函数值,根据这个原则,要求 λ ⩾ 0,记 m = ∣ τ ∣ , p = ∣ ξ ∣ m = |\tau|, p = |\xi| m=∣τ∣,p=∣ξ∣
- 拉格朗日函数的具体形式: L ( x , λ , ν ) = f ( x ) + ∑ i ∈ τ λ i c i ( x ) + ∑ i ∈ ξ ν i c i ( x ) L(x,λ,ν) = f(x) + \sum_{i∈\tau}λ_ic_i(x) + \sum_{i∈\xi}ν_ic_i(x) L(x,λ,ν)=f(x)+i∈τ∑λici(x)+i∈ξ∑νici(x) 其中的加号也可以修改为减号,同时调整相应乘子的约束条件使得上述下界原则满足即可。对拉格朗日函数 L ( x , λ , ν ) L(x,λ,ν) L(x,λ,ν) 中的 x 取下确界可定义拉格朗日对偶函数。
最优化建模、算法与理论(四)—— 最优性理论相关推荐
- 最优化建模算法理论之Goldstein准则(数学原理及MATLAB实现)
文章目录 一.前言 二.Goldstein准则 1. 定义 2. 几何含义 三.代码实现 四.与Armjio准则的对比 五.总结 一.前言 为了克服 Armijo 准则的缺陷,我们需要引入其他准则来保 ...
- 四象限法推导lm曲线_【老王讲放射】四象限理论
FCR的研发者之一高野正雄将CR系统影像处理的运行原理归纳为"四象限"理论,EDR(曝光数据识别器)的功能和CR系统工作原理可以用"四象限"理论进行描述. 1. ...
- 【自适应盲均衡4】基于RLS的多径衰落信道均衡算法(RLS-CMA)的理论推导与MATLAB仿真
关注公号[逆向通信猿]更精彩!!! 一.回顾CMA和MMA 对于前面两种算法 [自适应均衡]多径衰落信道的复数常模算法(CMA)的理论推导与MATLAB仿真 [自适应均衡]多模算法(MMA)--复数改 ...
- 【自适应盲均衡3】多模算法(MMA)——复数改进常模算法(MCMA)的理论推导与MATLAB仿真
关注公号[逆向通信猿]更精彩!!! 接上篇[自适应均衡2]多径衰落信道的复数常模算法(CMA)的理论推导与MATLAB仿真 理论推导 MMA或者MCMA其实是在CMA基础上改进而得到的,有学者称其为实 ...
- 【算法】 通过苏格拉底麦穗理论(最优停时)来研究爱情
摘要 本篇文章通过最优停时理论,用苏格拉底捡麦穗的实例,建立模型.分析在怎么样的采样容量下, 苏格拉底捡到最长的麦穗的情况的可能性是最高的, 并给出概率的具体数值. 本篇文章首先从数学 ...
- 推荐系统从零单排系列(四)—Word2Vec理论与实践(上)
推荐系统从零单排系列(四)-Word2Vec理论与实践(上) [导读]Word2Vec是Embedding中非常基本的模型,训练出来的词向量不仅能保持语义与语法上的相关性,并且可以实现类似代数运算的能 ...
- 数学建模算法与应用:预测模型(3)案例: SARS 疫情对经济指标影响
目录 问题描述: 一.建模思路 二.对模型进行分析预测 2.1.对模型进行假设 三.建立灰色预测模型GM(1,1) 3.1.模型的求解(i)商品零售额 3.2.用MATLAB程序,实现(i)商品零售额 ...
- 直流无刷电机FOC控制算法 理论到实践 —— 理论(二)
直流无刷电机FOC控制算法 理论到实践 -- 理论(二) 上一章节:FOC直流无刷电机控制算法 理论到实践 -- 理论(一) 下一章节:直流无刷电机FOC控制算法 理论到实践 -- 实践 说明:部分图 ...
- matlab中yita怎么打,数学建模算法之模拟退火
数学建模算法之模拟退火 模拟退火算法来源于固体退火原理,是一种基于概率的算法,将固体加温至充分高,再让其徐徐冷却,加温时,固体内部粒子随温升变为无序状,内能增大,而徐徐冷却时粒子渐趋有序,在每个温度都 ...
最新文章
- 【OpenCV】内核的形状函数使用记录
- python面试-马哥教育官网-专业Linux培训班,Python培训机构
- 自定函数获取datagrid,datalist,rpeater控件中header,footer栏中控件
- Just do it
- LeetCode 523. Continuous Subarray Sum
- npm 运行报错“Cannot find module ‘@vue/component-compiler-utils/package.json‘”
- 女生适合当程序员吗?
- bat调用bat注意事项(不带上参数 /b 时 会直接退出)
- Windows Server 2012 之部署Windows Server 更新服务(1)
- 高可用eureka服务发现实例
- 小程序源代码_如何找回微信小程序源代码
- LCD12864 液晶显示-汉字及自定义显示(并口)
- 建立企业统一即时通讯平台
- 夜曲歌词 拼音_标准的《夜曲》歌词
- 学术论文写作之引言(Introduction)怎么写
- 宠物狗行走手机应用市场现状研究分析-
- A20.从零开始前后端react+flask - 查找数据
- 序列模型第二周作业1:Operations on word vectors
- git添加/删除远程仓库
- unirech阿里云国际版元宇宙解决方案