求解稀疏优化问题——增广拉格朗日方法+半光滑牛顿法

↑↑↑↑↑点击上方蓝色字关注我们！

『视学算法』转载

作者：邓康康

邓康康，福州大学应用数学系在读博士生，研究方向:运筹优化算法设计与应用、流形优化。

编者按

本文介绍了一种二阶方法去求解稀疏优化问题。首先在对偶问题上应用增广拉格朗日方法，对于其子问题采用半光滑牛顿法求解，问题的稀疏结构使得算法得到快速的求解。

在这个一阶方法盛行的时代中，二阶方法看起来不那么受欢迎，能想到的优点好像只有“精度高”，但是原始的二阶方法（Newton,trust region,cubic regularizarion Newton）代价实在是太大了。为了权衡优缺点，出现了很多“似二非二”的算法，比如拟牛顿（quasi Newton），随机牛顿（stochastic Newton），次采样牛顿（subsample Newton）。这篇文章想讲下二阶方法一个很有意思的应用：利用半光滑牛顿（semismooth Newton）快速求解稀疏问题。目前已经出了许多相关文章，主要来自孙德锋老师的团队。有兴趣的可以参考他的主页。关于理论性的东西我就不说了（好像你会似的），这里我想简单阐述下这些文章的主要思想。

这个问题太general了，并且特别多的一阶方法可以去求解它，比如临近梯度方法（proximal gradient）以及它的加速版FISTA；交替方向乘子法（ADMM），原始对偶（primal dual）等等。这些方法说快也挺快的，毕竟只用到了一阶信息。但是他们没有考虑到两点：

不多废话，开始。

一

增广拉格朗日方法求解（P）的对偶问题

二

半光滑牛顿法求解ALM子问题（5）

三

总结

首先我讲的这个是一个general的算法框架，非光滑函数不限于Lasso，可以是其他稀疏正则。差别就在于如何计算其临近算子的jacbi矩阵。目前主要的一些正则函数都出了文章了，参考孙老师主页

https://link.zhihu.com/?target=http%3A//www.polyu.edu.hk/ama/profile/dfsun/

虽然非光滑函数可以是任意凸的函数，但如果没有稀疏性或者其他结构的话，这个方法不见得有效。所以说没有一个一统江湖的方法，只有合适某类问题的方法。

参考文献

[1] Li X, Sun D, Toh K C. A highly efficient semismooth Newton augmented Lagrangian method for solving Lasso problems[J]. SIAM Journal on Optimization, 2018, 28(1): 433-458.

[2]Beck, Amir. First-Order Methods in Optimization || Front Matter[J]. 10.1137/1.9781611974997:i-xii.

文章须知

文章作者：邓康康

责任编辑：苏向阳

审核编辑：阿春

微信编辑：玖蓁

本文转载自知乎专栏求解稀疏优化问题1——增广拉格朗日方法+半光滑牛顿方法

原文链接：https://zhuanlan.zhihu.com/p/92230537

求解稀疏优化问题——增广拉格朗日方法+半光滑牛顿法相关推荐

割线法求解过程_求解稀疏优化问题2——临近点方法+半光滑牛顿法
这篇文章是我之前一篇文章的兄弟篇,没看过的可以看下面这个. 邓康康:求解稀疏优化问题--半光滑牛顿方法zhuanlan.zhihu.com 我们考虑的问题仍然是如下的一般问题: 其中 ,并且特别大 ...
数值优化（Numerical Optimization）学习系列-惩罚和增广拉格朗日方法（Augmented Lagrangian Methods）
原文地址为: 数值优化(Numerical Optimization)学习系列-惩罚和增广拉格朗日方法(Augmented Lagrangian Methods) 概述求解带约束的最优化问题,一类很 ...
凸优化学习-（二十九）有约束优化算法——增广拉格朗日法、交替方向乘子法（ADMM）
凸优化学习我们前面说过,拉格朗日法在实际中应用不大.为什么呢?因为 α \alpha α的取值很难取,这就导致拉格朗日法鲁棒性很低,收敛很慢,解很不稳定.于是就有了今天的增广拉格朗日法和ADMM. ...
增广拉格朗日函数(The augmented Lagrangian)及其KKT条件
增广拉格朗日方法在拉格朗日方法的基础上添加了二次惩罚项,从而使得转换后的问题能够更容易求解,不至于因条件数变大不好求.则转换后的问题为 Ψ(x,λ,ν)=L(x,λ,ν)+α2∑j=1m(λjgj(x ...
线性规划求解——增广拉格朗日函数法
原问题 (P)min⁡x  cTxs.t.  Ax=bx≥0\min_x \;c^Tx\\s.t. \;Ax=b\\x\geq 0 \tag{P}xmincTxs.t.Ax=bx≥0(P) 对偶问题 ...
约束优化：PHR-ALM 增广拉格朗日函数法
文章目录约束优化:PHR-ALM 增广拉格朗日函数法等式约束非凸优化问题的PHR-ALM 不等式约束非凸优化问题的PHR-ALM 对于一般非凸优化问题的PHR-ALM 参考文献约束优化:PHR- ...
matlab增广拉格朗日,[Opt] 拉格朗日乘子法 | ADMM | Basis pursuit
乘子法本文先简要介绍三个乘子法,它们的收敛条件依次减弱(不做具体介绍),然后应用 ADMM 算法求解 Basis pursuit 问题最后读读 Boyd 给出的代码. Lagrange Multip ...
增广拉格朗日函数法（ALM）
增广拉格朗日函数法( Augmented Lagrangian method) 一.等式约束考虑问题: min ⁡ x f ( x ) s . t . c i ( x ) = 0 , i = 1 , ...
为什需要采用增广拉格朗日函数
为什需要采用增广拉格朗日函数目标函数的可以转化为Lagrangian函数的最小,称之为对偶函数(dual function) d(λ)=min⁡x∈XL(x,λ)(1)d(\lambda)=\min ...

求解稀疏优化问题——增广拉格朗日方法+半光滑牛顿法

求解稀疏优化问题——增广拉格朗日方法+半光滑牛顿法相关推荐

最新文章

热门文章