线性规划求解——增广拉格朗日函数法

原问题

(P)min⁡x cTxs.t. Ax=bx≥0\min_x \;c^Tx\\s.t. \;Ax=b\\x\geq 0 \tag{P}xmincTxs.t.Ax=bx≥0(P)

对偶问题

(D)max⁡y bTys.t. ATy+s=cs≥0\max_y\;b^Ty\\s.t.\;A^Ty+s=c\\s\geq 0\tag{D}ymaxbTys.t.ATy+s=cs≥0(D)
A∈Rm×n,x∈Rn,s∈Rn,y∈RmA \in \R^{m\times n}, x \in \R^{n}, s \in \R^{n}, y \in \R^{m}A∈Rm×n,x∈Rn,s∈Rn,y∈Rm

对偶问题的增广拉格朗日函数：
Lt(y,s,λ)=−bTy+λT(ATy+s−c)+t2∣∣ATy+s−c∣∣22,=−bTy+t2(∣∣ATy+s−c+λt∣∣22−∣∣λt∣∣22),s.t.s≥0L_t(y,s,\lambda) = -b^Ty + \lambda^T(A^Ty+s-c) + \frac{t}{2}||A^Ty+s-c||_2^2,\\ = -b^Ty + \frac{t}{2} \big(||A^Ty+s-c + \frac{\lambda}{t}||_2^2 - ||\frac{\lambda}{t}||_2^2 \big), \\ s.t.\quad s \geq 0 Lt(y,s,λ)=−bTy+λT(ATy+s−c)+2t∣∣ATy+s−c∣∣22,=−bTy+2t(∣∣ATy+s−c+tλ∣∣22−∣∣tλ∣∣22),s.t.s≥0
迭代步骤为：

(1)(y+,s+)=argmins≥0,yLt(y,s,λ)=argmins≥0,y−bTy+t2(∣∣ATy+s−c+λt∣∣22)(y^+,s^+) = \mathop{argmin}_{s\geq0,y}\quad L_t(y,s,\lambda) \\ = \mathop{argmin}_{s\geq0,y}\quad -b^Ty + \frac{t}{2} \big(||A^Ty+s-c + \frac{\lambda}{t}||_2^2 \big) \tag{1}(y+,s+)=argmins≥0,yLt(y,s,λ)=argmins≥0,y−bTy+2t(∣∣ATy+s−c+tλ∣∣22)(1)
λ+=λ−t(c−ATy+−s+)\lambda^+ = \lambda -t(c-A^Ty^+-s^+) λ+=λ−t(c−ATy+−s+)
注意到子问题 (1) 中，若求得 yyy 的最优点 y+y^+y+，则 s+s^+s+ 必须满足：
s+=argmins≥0∣∣ATy++s−c+λt∣∣22=PR+n(c−ATy+−λt)s^+ =\quad \mathop{argmin}_{s\geq0}\quad ||A^Ty^++s-c + \frac{\lambda}{t}||_2^2 \\=\quad \mathbb{P}_{\mathbf{R}_+^n}(c-A^Ty^+-\frac{\lambda}{t}) s+=argmins≥0∣∣ATy++s−c+tλ∣∣22=PR+n(c−ATy+−tλ)
其中，PR+n(⋅)\mathbb{P}_{\mathbf{R}_+^n}(\cdot)PR+n(⋅) 表示向 Rn\mathbb{R}^nRn 空间中第一象限的投影。将上式代入 (1) 中可以将变量 sss 消去，得到简化的迭代形式：
(2)y+=argmins≥0,y−bTy+t2∑i=1nΨi(y,λ,t)y^+ =\quad \mathop{argmin}_{s\geq0,y}\quad -b^Ty + \frac{t}{2} \sum_{i=1}^n \Psi_i(y,\lambda,t) \tag{2} y+=argmins≥0,y−bTy+2ti=1∑nΨi(y,λ,t)(2)
λ+=PR+n(λ−t(c−ATy))\lambda^+ =\quad \mathbb{P}_{\mathbf{R}_+^n}(\lambda -t(c-A^Ty)) λ+=PR+n(λ−t(c−ATy))
其中
ψi(y,λ,t)={(AiTy−ci+λit)2,ci−AiTy−λi/t<00,otherwise\psi_i(y,\lambda,t)=\left\{ \begin{array}{lr} (A_i^Ty-c_i + \frac{\lambda_i}{t})^2, & c_i - A_i^Ty - \lambda_i/t <0 \\ 0, & otherwise \end{array} \right. ψi(y,λ,t)={(AiTy−ci+tλi)2,0,ci−AiTy−λi/t<0otherwise
对子问题 (2}) 的求解可以采用梯度法，半光滑牛顿法等等。

线性规划求解——增广拉格朗日函数法相关推荐

增广拉格朗日函数法（ALM）
增广拉格朗日函数法( Augmented Lagrangian method) 一.等式约束考虑问题: min ⁡ x f ( x ) s . t . c i ( x ) = 0 , i = 1 , ...
约束优化：PHR-ALM 增广拉格朗日函数法
文章目录约束优化:PHR-ALM 增广拉格朗日函数法等式约束非凸优化问题的PHR-ALM 不等式约束非凸优化问题的PHR-ALM 对于一般非凸优化问题的PHR-ALM 参考文献约束优化:PHR- ...
为什需要采用增广拉格朗日函数
为什需要采用增广拉格朗日函数目标函数的可以转化为Lagrangian函数的最小,称之为对偶函数(dual function) d(λ)=min⁡x∈XL(x,λ)(1)d(\lambda)=\min ...
增广拉格朗日函数(The augmented Lagrangian)及其KKT条件
增广拉格朗日方法在拉格朗日方法的基础上添加了二次惩罚项,从而使得转换后的问题能够更容易求解,不至于因条件数变大不好求.则转换后的问题为 Ψ(x,λ,ν)=L(x,λ,ν)+α2∑j=1m(λjgj(x ...
凸优化学习-（二十九）有约束优化算法——增广拉格朗日法、交替方向乘子法（ADMM）
凸优化学习我们前面说过,拉格朗日法在实际中应用不大.为什么呢?因为 α \alpha α的取值很难取,这就导致拉格朗日法鲁棒性很低,收敛很慢,解很不稳定.于是就有了今天的增广拉格朗日法和ADMM. ...
matlab增广拉格朗日,[Opt] 拉格朗日乘子法 | ADMM | Basis pursuit
乘子法本文先简要介绍三个乘子法,它们的收敛条件依次减弱(不做具体介绍),然后应用 ADMM 算法求解 Basis pursuit 问题最后读读 Boyd 给出的代码. Lagrange Multip ...
【OR】增广拉格朗日乘子法
导航乘子法不等式约束参考资料乘子法考虑带约束的优化问题(P)(P)(P) min⁡f(x)s.t.hi(x)=0,i=1,-,l\min f(x)\\ s.t. \quad h_i(x)=0 ...
求解稀疏优化问题——增广拉格朗日方法+半光滑牛顿法
↑↑↑↑↑点击上方蓝色字关注我们! 『视学算法』转载作者:邓康康邓康康,福州大学应用数学系在读博士生,研究方向:运筹优化算法设计与应用.流形优化. 编者按本文介绍了一种二阶方法去求解稀疏优化问题 ...
增广拉格朗日乘子法、ADMM
增广拉格朗日乘子法关于拉格朗日的定义,具体见:http://mp.blog.csdn.net/mdeditor/79341632 概述增广拉格朗日乘子法(Augmented Lagrange Me ...

线性规划求解——增广拉格朗日函数法

原问题

对偶问题

线性规划求解——增广拉格朗日函数法相关推荐

最新文章

热门文章