原始ADMM算法迭代形式

假设有如下优化问题
minf(x)+g(z)min f(x)+g(z)minf(x)+g(z)s.t.Ax+Bz=cs.t. Ax+Bz=cs.t.Ax+Bz=c其中，x∈Rnx\in{R^n}x∈Rn、z∈Rmz\in{R^m}z∈Rm、A∈Rp×nA\in{R^{p\times{n}}}A∈Rp×n、B∈Rp×mB\in{R^{p\times{m}}}B∈Rp×m、c∈Rpc\in{R^p}c∈Rp

其增广拉格朗日函数如下：
Lp(x,y,z)=f(x)+g(z)+yT(Ax+Bz−c)+(ρ/2)∣∣Ax+Bz−c∣∣22L_p(x,y,z)=f(x)+g(z)+y^T(Ax+Bz-c)+(\rho/2)||Ax+Bz-c||^2_2Lp(x,y,z)=f(x)+g(z)+yT(Ax+Bz−c)+(ρ/2)∣∣Ax+Bz−c∣∣22ADMM的更新迭代形式如下：
xk+1:=argmin⁡xLp(x,zk,yk)x^{k+1}:=arg\underset{x}{\min}L_p(x,z^k,y^k)xk+1:=argxminLp(x,zk,yk) zk+1:=argmin⁡zLp(xk+1,z,yk)z^{k+1}:=arg\underset{z}{\min}L_p(x^{k+1},z,y^k)zk+1:=argzminLp(xk+1,z,yk) yk+1:=yk+ρ(Axk+1+Bzk+1−c)y^{k+1}:=y^k+\rho(Ax^{k+1}+Bz^{k+1}-c)yk+1:=yk+ρ(Axk+1+Bzk+1−c)其中，ρ>0\rho>0ρ>0
以上就是原始ADMM算法的迭代形式

Scaled Form（不知道该怎么翻译成中文）

令r=Ax+Bz−cr=Ax+Bz-cr=Ax+Bz−c
yT(Ax+Bz−c)+(ρ/2)∣∣Ax+Bz−c∣∣22=yTr+(ρ/2)∣∣r∣∣22=(ρ/2)∣∣r+(1/ρ)y∣∣22−(1/2ρ)∣∣y∣∣22=(ρ/2)∣∣r+u∣∣22−(ρ/2)∣∣u∣∣22y^T(Ax+Bz-c)+(\rho/2)||Ax+Bz-c||^2_2=y^Tr+(\rho/2)||r||^2_2=(\rho/2)||r+(1/\rho)y||^2_2-(1/2\rho)||y||^2_2=(\rho/2)||r+u||^2_2-(\rho/2)||u||^2_2yT(Ax+Bz−c)+(ρ/2)∣∣Ax+Bz−c∣∣22=yTr+(ρ/2)∣∣r∣∣22=(ρ/2)∣∣r+(1/ρ)y∣∣22−(1/2ρ)∣∣y∣∣22=(ρ/2)∣∣r+u∣∣22−(ρ/2)∣∣u∣∣22
其中u=(1/ρ)yu=(1/\rho)yu=(1/ρ)y
推导过程如下：

ADMM的更新迭代形式如下：
xk+1:=argmin⁡x(f(x)+(ρ/2)∣∣Ax+Bzk−c+uk∣∣22)x^{k+1}:=arg\underset{x}{\min}(f(x)+(\rho/2)||Ax+Bz^k-c+u^k||^2_2)xk+1:=argxmin(f(x)+(ρ/2)∣∣Ax+Bzk−c+uk∣∣22) zk+1:=argmin⁡z(g(z)+(ρ/2)∣∣Axk+1+Bz−c+uk∣∣22)z^{k+1}:=arg\underset{z}{\min}(g(z)+(\rho/2)||Ax^{k+1}+Bz-c+u^k||^2_2)zk+1:=argzmin(g(z)+(ρ/2)∣∣Axk+1+Bz−c+uk∣∣22) uk+1:=uk+Axk+1+Bzk+1−cu^{k+1}:=u^k+Ax^{k+1}+Bz^{k+1}-cuk+1:=uk+Axk+1+Bzk+1−c其中，ρ>0\rho>0ρ>0

x-update（同样适用于z-update）

xk+1:=argmin⁡x(f(x)+(ρ/2)∣∣Ax−v∣∣22)x^{k+1}:=arg\underset{x}{\min}(f(x)+(\rho/2)||Ax-v||^2_2)xk+1:=argxmin(f(x)+(ρ/2)∣∣Ax−v∣∣22)其中，v=−Bz+c−uv=-Bz+c-uv=−Bz+c−u
假设f(x)f(x)f(x)为二次函数
f(x)=(1/2)xTPx+qTx+rf(x)=(1/2)x^TPx+q^Tx+rf(x)=(1/2)xTPx+qTx+r其中P∈S+nP\in{S^n_+}P∈S+n
当P+ρATAP+\rho{A^TA}P+ρATA可逆时，x-update为：
x+=(P+ρATA)−1(ρATv−q)x^+=(P+\rho{A^TA)}^{-1}(\rho{A^Tv}-q)x+=(P+ρATA)−1(ρATv−q)
推导过程如下：

参考

Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers

凸优化05 详解ADMM算法相关推荐

【GAN优化】详解GAN中的一致优化问题
GAN的训练是一个很难解决的问题,上期其实只介绍了一些基本的动力学概念以及与GAN的结合,并没有进行过多的深入.动力学是一门比较成熟的学科,有很多非常有用的结论,我们将尝试将其用在GAN上,来得到一些 ...
【GAN优化】详解SNGAN(频谱归一化GAN)
今天将和大家一起学习具有很高知名度的SNGAN.之前提出的WGAN虽然性能优越,但是留下一个难以解决的1-Lipschitz问题,SNGAN便是解决该问题的一个优秀方案.我们将先花大量精力介绍矩阵的最 ...
【算法知识】详解快速排序算法
基本思想已发布: [算法知识]详解选择冒泡算法 [算法知识]详解选择排序算法 [算法知识]详解插入排序算法本文的思路是以从小到大为例讲的. 快速排序的基本思想是任取待排序序列的一个元素作为中心元素 ...
html的细节优化,网站页面优化细节详解
原标题:网站页面优化细节详解 SEO页面优化是继SEO结构优化之后,另一个重要优化地方; 页面标题在每个页面中的关键位置,出现目标关键词,这是我们做页面优化的基础思路,关键词位置,都有哪些呢? 第一 ...
详解线性回归算法的纯Python实现
↑↑↑关注后"星标"简说Python人人都可以简单入门Python.爬虫.数据分析简说Python推荐来源|天池大数据科研平台作者|黄佳零基础学机器学习--一文详解线性回归算 ...
WinXP SP2 系统服务优化设置详解
WindowsXP Professional SP2的系统服务优化设置详解 01.显示名称:Alerter ◎进程名称:svchost.exe -k LocalService ◎微软描述:通知所选用户 ...
Hector SLAM 原理详解、算法解析
目录 1.原理详解 2.算法解析 1.原理详解 Hector整体算法很直接,就是将激光点与已有的地图"对齐",即扫描匹配.扫描匹配就是使用当前帧与已经有的地图数据构建误差函数,使用 ...
详解rsync算法--如何减少同步文件时的网络传输量
详解rsync算法--如何减少同步文件时的网络传输量先看下图中的场景,客户端A和B,以及服务器server都保存了同一个文件,最初,A.B和server上的文件内容都是相同的(记为File.1).某 ...
【算法知识】详解堆排序算法
点击蓝色字关注我们! 什么是堆「堆」首先是一个完全二叉树,「堆」分为「大顶堆」和「小顶堆」: 「大顶堆」 : 每个节点的值大于或等于其左右孩子节点的值,称为大顶堆. 「小顶堆」同理就是每个节点的值小 ...

凸优化05 详解ADMM算法

目录

原始ADMM算法迭代形式

Scaled Form（不知道该怎么翻译成中文）

x-update（同样适用于z-update）

参考

凸优化05 详解ADMM算法相关推荐

最新文章

热门文章