总目录

一、凸优化基础（Convex Optimization basics）

凸优化基础（Convex Optimization basics）

二、一阶梯度方法（First-order methods）

梯度下降（Gradient Descent）
次梯度（Subgradients）
近端梯度法（Proximal Gradient Descent）
随机梯度下降（Stochastic gradient descent）

三、对偶

线性规划中的对偶（Duality in linear programs）
凸优化中的对偶（Duality in General Programs）
KKT条件（Karush-Kuhn-Tucker Conditions）
对偶的应用及拓展（Duality Uses and Correspondences）
对偶方法（Dual Methods）
交替方向乘子法（Alternating Direction Method of Multipliers）

Introduction

在前几节中我们讨论了对偶。在强对偶条件下，给定对偶问题的最优解u∗,v∗u^*,v^*u∗,v∗，任何使得拉普拉斯方程L(x,u∗,v∗)L(x,u^*,v^*)L(x,u∗,v∗)最小化的xxx都是原问题的最优解。特别是当原问题的解唯一时，其一定是最优解x∗x^*x∗。这使得我们可以借助于对偶来求解原问题的解。本节我们主要讨论跟对偶相关的一些知识及应用。

对偶范数

令∥x∥\|x\|∥x∥为一个范数（norm），定义其对偶范数（dual norm）∥x∥∗\|x\|_*∥x∥∗为
∥x∥∗=max⁡∥z∥≤1zTx\|x\|_*=\max_{\|z\|\leq1}z^Tx∥x∥∗=∥z∥≤1maxzTx

那么根据对偶关系可以得到∥zTx∥≤∥z∥∥x∥∗\|z^Tx\|\leq\|z\|\|x\|_*∥zTx∥≤∥z∥∥x∥∗。
例如，

lp\mathcal{l}_plp norm: ∥x∥p=(∑i=1m∣xi∣p)1/p\|x\|_p=(\sum^m_{i=1}|x_i|^p)^{1/p}∥x∥p=(∑i=1m∣xi∣p)1/p, for p≥1p\geq1p≥1
Trace norm: ∥X∥tr=∑i=1rσi(X)\|X\|_{tr}=\sum^r_{i=1}\sigma_i(X)∥X∥tr=∑i=1rσi(X) (迹范数定义为矩阵所有特征值之和)

则其对应的对偶范数为

lp\mathcal{l}_plp norm dual: (∥x∥p)∗=∥x∥q(\|x\|_p)_*=\|x\|_q(∥x∥p)∗=∥x∥q，其中，1/p+1/q=11/p+1/q=11/p+1/q=1
Trace norm dual: (∥X∥tr)∗=∥X∥op=σ1(X)(\|X\|_{tr})_*=\|X\|_{op}=\sigma_1(X)(∥X∥tr)∗=∥X∥op=σ1(X) 即矩阵最大的特征值

在强对偶下，对偶范数的对偶范数为其本身，即∥x∥∗∗=∥x∥\|x\|_{**}=\|x\|∥x∥∗∗=∥x∥。

共轭函数

共轭函数的定义

给定一个函数f:Rn→Rf: R^n \to Rf:Rn→R，定义其共轭(conjugate)为f∗:Rn→Rf^*: R^n\to Rf∗:Rn→R，
f∗(y)=max⁡xyTx−f(x)f^*(y)=\max_x y^Tx-f(x)f∗(y)=xmaxyTx−f(x)

注意到f∗f^*f∗总是凸函数，因为其是凸函数（仿射函数）的最大值。如下图所示，f∗(y)f^*(y)f∗(y)表示最大化线性函数yTxy^TxyTx与函数f(x)f(x)f(x)的间隔。

对于可微函数fff，共轭也被叫做勒让德变换（Legendre transform）。

共轭函数的性质

Fenchel不等式：对于任意x,yx,yx,y，
f(x)+f∗(y)≥xTyf(x)+f^*(y)\geq x^Tyf(x)+f∗(y)≥xTy
共轭的共轭f∗∗f^{**}f∗∗满足f∗∗≤ff^{**}\leq ff∗∗≤f。
如果fff是闭合的且是凸的，那么f∗∗=ff^{**}=ff∗∗=f
如果fff是闭合的且是凸的，那么对于任意x,yx,yx,y，
x∈∂f∗(y)⟺y∈∂f(x)⟺f(x)+f∗(y)=xTyx\in\partial f^*(y) \Longleftrightarrow y\in\partial f(x) \Longleftrightarrow f(x)+f^*(y)=x^Tyx∈∂f∗(y)⟺y∈∂f(x)⟺f(x)+f∗(y)=xTy
如果f(u,v)=f1(u)+f2(v)f(u,v)=f_1(u)+f_2(v)f(u,v)=f1(u)+f2(v)，那么
f∗(w,z)=f1∗(w)+f2∗(z)f^*(w,z)=f^*_1(w)+f^*_2(z)f∗(w,z)=f1∗(w)+f2∗(z)

例子：

二次规划：f(x)=12xTQxf(x)=\frac{1}{2}x^TQxf(x)=21xTQx，其中Q≻0Q\succ0Q≻0。那么yTx−12xTQxy^Tx-\frac{1}{2}x^TQxyTx−21xTQx是严格凹的，其最大值在y=Q−1xy=Q^{-1}xy=Q−1x处取得，因此
f∗(y)=12yTQ−1yf^*(y)=\frac{1}{2}y^TQ^{-1}yf∗(y)=21yTQ−1y
指示函数：如果f(x)=IC(x)f(x)=I_C(x)f(x)=IC(x)，那么其共轭为
f∗(y)=Ic∗(x)=max⁡x∈CyTxf^*(y)=I^*_c(x)=\max_{x\in C}y^Txf∗(y)=Ic∗(x)=x∈CmaxyTx也被称为集合CCC的支持函数（support function）。
范数：如果f(x)=∥x∥f(x)=\|x\|f(x)=∥x∥，那么其共轭为
f∗(y)=I{z:∥z∥∗≤1}(y)f^*(y)=I_{\{z:\|z\|_*\leq 1\}}(y)f∗(y)=I{z:∥z∥∗≤1}(y) 其中∥⋅∥∗\|\cdot\|_*∥⋅∥∗是∥⋅∥\|\cdot\|∥⋅∥的对偶范数

共轭与对偶问题

共轭常出现在对偶问题的推导中。在最小化拉格朗日函数过程中，以
−f∗(u)=min⁡xf(x)−uTx-f^*(u)=\min_x f(x)-u^Tx−f∗(u)=xminf(x)−uTx 形式出现。

如考虑优化问题
min⁡xf(x)+g(x)\min_x f(x)+g(x)xminf(x)+g(x)

其等价于
min⁡x,zf(x)+g(z)subjecttox=z\begin{aligned} \min_{x,z}f(x)+g(z)\\ subject\ to\quad x=z\\ \end{aligned} x,zminf(x)+g(z)subject tox=z

拉格朗日对偶函数为
g(u)=min⁡x,zf(x)+g(z)+uT(z−x)=min⁡x,zf(x)−uTx+g(z)−(−u)Tz=−max⁡x{uTx−f(x)}−max⁡z{(−u)Tz−g(z)}=−f∗(u)−g∗(−u)\begin{aligned} g(u)=&\min_{x,z} f(x)+g(z)+u^T(z-x)\\ &=\min_{x,z}f(x)-u^Tx+g(z)-(-u)^Tz\\ &=-\max_x\{u^Tx-f(x)\}-\max_z\{(-u)^Tz-g(z)\}\\ &=-f^*(u)-g^*(-u) \end{aligned} g(u)=x,zminf(x)+g(z)+uT(z−x)=x,zminf(x)−uTx+g(z)−(−u)Tz=−xmax{uTx−f(x)}−zmax{(−u)Tz−g(z)}=−f∗(u)−g∗(−u)

因而对偶问题为
max⁡u−f∗(u)−g∗(−u)\max_u -f^*(u)-g^*(-u)umax−f∗(u)−g∗(−u)

转移线性变换

对偶公式可以帮助我们在目标函数的不同部分之间转移线性变换（shifting linear transformations）。
考虑以下问题
min⁡xf(x)+g(Ax)\min_x f(x)+g(Ax)xminf(x)+g(Ax)

其等价于
min⁡x,zf(x)+g(z)subjecttoAx=z\begin{aligned} \min_{x,z}f(x)+g(z)\\ subject\ to\quad Ax=z\\ \end{aligned} x,zminf(x)+g(z)subject toAx=z
像前面一样，其对偶问题为
max⁡u−f∗(ATu)−g∗(−u)\max_u -f^*(A^Tu)-g^*(-u)umax−f∗(ATu)−g∗(−u)

对偶的技巧

常常我们把对偶转换为一个等价的问题，仍然称为对偶。在强对偶条件下，我们可以使用对偶问题（或经过变换的对偶问题）的解来求解原问题的解。

为了得到无约束问题的对偶形式，一般首先在原问题中加入一个虚拟的中间变量，从而引入等式约束。再通过拉格朗日方程得到对偶形式。通常这种变换并不是唯一的，不同的变换可能导致不同的对偶问题。

对偶的应用及拓展（Duality Uses and Correspondences）相关推荐

对偶方法（Dual Methods）
总目录一. 凸优化基础(Convex Optimization basics) 凸优化基础(Convex Optimization basics) 二. 一阶梯度方法(First-order met ...
随机梯度下降（Stochastic gradient descent）
总目录一. 凸优化基础(Convex Optimization basics) 凸优化基础(Convex Optimization basics) 二. 一阶梯度方法(First-order met ...
近端梯度法（Proximal Gradient Descent）
总目录一. 凸优化基础(Convex Optimization basics) 凸优化基础(Convex Optimization basics) 二. 一阶梯度方法(First-order met ...
KKT条件（Karush-Kuhn-Tucker Conditions）
总目录一. 凸优化基础(Convex Optimization basics) 凸优化基础(Convex Optimization basics) 二. 一阶梯度方法(First-order met ...
UA SIE545 优化理论基础4 对偶理论简介3 强对偶
UA SIE545 优化理论基础4 对偶理论简介3 强对偶上一讲介绍了弱对偶,弱对偶满足 inf⁡{f(x):x∈X,g(x)≤0,h(x)=0}≥sup⁡{θ(u,v):u≥0}\inf\{f(x ...
厄米共轭matlab,JuliaStatComputing
Julia统计计算介绍¶ 作者:李东风日期:2020-04-05 Julia比较适合用作数值计算, 编程既有Python.R.Matlab这样的语言的简洁, 又有C++这样的编译语言的运行效率. 统 ...
Fast Global Registration (ECCV 2016) 论文解析
目录 0.友情链接 1. 论文核心思想 1.1. 点云特征匹配 1.2. 两个校验 1.3. 鲁棒函数与BR对偶 1.4.1. Black-Rangarjan Duality (BR对偶性) 1.4. ...
如何通俗地讲解对偶问题？尤其是拉格朗日对偶lagrangian duality？
↑↑↑↑↑点击上方蓝色字关注我们! 『视学算法』转载作者:李竞宜覃含章编者按拉格朗日对偶理论对当今社会的发展起到了极大的推动作用.但是书本上对拉格朗日对偶理论的讲解往往比较空洞,本文收录了两位 ...
UA SIE545 优化理论基础4 对偶理论简介2 弱对偶与Duality Gap
UA SIE545 优化理论基础4 对偶理论简介2 弱对偶与Duality Gap 上一讲我们定义了Lagrange对偶,这一讲我们介绍第一个重要结论--弱对偶定理(Weak duality theo ...
Apache Flink 漫谈系列(06) - 流表对偶(duality)性
实际问题很多大数据计算产品,都对用户提供了SQL API,比如Hive, Spark, Flink等,那么SQL作为传统关系数据库的查询语言,是应用在批查询场景的.Hive和Spark本质上都是Ba ...

对偶的应用及拓展（Duality Uses and Correspondences）

总目录