为什需要采用增广拉格朗日函数

目标函数的可以转化为Lagrangian函数的最小，称之为对偶函数(dual function)
d(λ)=min⁡x∈XL(x,λ)(1)d(\lambda)=\min_{x\in X}L(x,\lambda) \tag{1} d(λ)=x∈XminL(x,λ)(1)

众所周知，对于任意的可行 xxx 和 λ≥0\lambda\ge 0λ≥0 , the weak duality relation d(λ≤f(x))d(\lambda\le f(x))d(λ≤f(x)) 总是holds。拉格朗日对偶问题(1)然后是找到使 d(λ)d(\lambda)d(λ) 最大的乘子向量 (λ∗≥0\lambda^*\ge 0λ∗≥0)
max⁡λ≥0d(λ)\max_{\lambda\ge 0}d(\lambda) λ≥0maxd(λ)

(x∗,λ∗)(x^*,\lambda^*)(x∗,λ∗) 对被称为 L(x,λ)L(x,\lambda)L(x,λ) 的全局鞍点，如果对于所有的 x∈X,λ≥0x\in X, \lambda\ge 0x∈X,λ≥0
L(x∗,λ)≤L(x∗,λ∗)≤L(x,λ∗)L(x^*,\lambda)\le L(x^*,\lambda^*)\le L(x,\lambda^*) L(x∗,λ)≤L(x∗,λ∗)≤L(x,λ∗)

众所周知，一个零对偶间隙等价于拉格朗日函数鞍点的存在性，

It is well known that a zero duality gap is equivalent to the existence of a saddle point of the Lagrangian function

所以鞍点是否存在在拉格朗日对偶方法解决问题扮演着重要的角色。

但是当目标函数或者限制函数非凸时，不能保证鞍点的存在。

一个对于传统拉格朗日方法的对偶间隙的补救
(A remedy to duality gaps) 就是采用非线性的拉格朗日函数或者增广拉格朗日函数。

就是说传统的拉格朗日对偶方法可能不能找到非凸问题的最优点，因为存在对偶间隙

为什需要采用增广拉格朗日函数相关推荐

线性规划求解——增广拉格朗日函数法
原问题 (P)min⁡x  cTxs.t.  Ax=bx≥0\min_x \;c^Tx\\s.t. \;Ax=b\\x\geq 0 \tag{P}xmincTxs.t.Ax=bx≥0(P) 对偶问题 ...
增广拉格朗日函数法（ALM）
增广拉格朗日函数法( Augmented Lagrangian method) 一.等式约束考虑问题: min ⁡ x f ( x ) s . t . c i ( x ) = 0 , i = 1 , ...
约束优化：PHR-ALM 增广拉格朗日函数法
文章目录约束优化:PHR-ALM 增广拉格朗日函数法等式约束非凸优化问题的PHR-ALM 不等式约束非凸优化问题的PHR-ALM 对于一般非凸优化问题的PHR-ALM 参考文献约束优化:PHR- ...
增广拉格朗日函数(The augmented Lagrangian)及其KKT条件
增广拉格朗日方法在拉格朗日方法的基础上添加了二次惩罚项,从而使得转换后的问题能够更容易求解,不至于因条件数变大不好求.则转换后的问题为 Ψ(x,λ,ν)=L(x,λ,ν)+α2∑j=1m(λjgj(x ...
凸优化学习-（二十九）有约束优化算法——增广拉格朗日法、交替方向乘子法（ADMM）
凸优化学习我们前面说过,拉格朗日法在实际中应用不大.为什么呢?因为 α \alpha α的取值很难取,这就导致拉格朗日法鲁棒性很低,收敛很慢,解很不稳定.于是就有了今天的增广拉格朗日法和ADMM. ...
matlab增广拉格朗日,[Opt] 拉格朗日乘子法 | ADMM | Basis pursuit
乘子法本文先简要介绍三个乘子法,它们的收敛条件依次减弱(不做具体介绍),然后应用 ADMM 算法求解 Basis pursuit 问题最后读读 Boyd 给出的代码. Lagrange Multip ...
求解稀疏优化问题——增广拉格朗日方法+半光滑牛顿法
↑↑↑↑↑点击上方蓝色字关注我们! 『视学算法』转载作者:邓康康邓康康,福州大学应用数学系在读博士生,研究方向:运筹优化算法设计与应用.流形优化. 编者按本文介绍了一种二阶方法去求解稀疏优化问题 ...
数值优化（Numerical Optimization）学习系列-惩罚和增广拉格朗日方法（Augmented Lagrangian Methods）
原文地址为: 数值优化(Numerical Optimization)学习系列-惩罚和增广拉格朗日方法(Augmented Lagrangian Methods) 概述求解带约束的最优化问题,一类很 ...
ALM算法（增广拉格朗日法）

为什需要采用增广拉格朗日函数

为什需要采用增广拉格朗日函数

为什需要采用增广拉格朗日函数相关推荐

最新文章

热门文章