凸优化之共轭函数（一）

闭函数

一个函数称为闭函数如果它的上方图是一个闭集。

恰当函数

对于函数f:C→Rf: \mathit{C}\xrightarrow[]{} \mathbb{R}f:CR，如果函数fff满足f(x)>−∞f(x)>-\inftyf(x)>−∞对任意x∈Cx\in Cx∈C均成立，且存在一点x0∈Cx_0\in Cx0∈C，使得f(x)<+∞f(x)<+\inftyf(x)<+∞，我们就称函数fff在CCC上是恰当的。

共轭函数

函数fff的共轭函数f∗f^*f∗定义为：
f∗(y)=sup⁡x∈domf(yTx−f(x))f^*(y)=\sup_{x\in dom f} (y^T x-f(x)) f∗(y)=x∈domfsup(yTx−f(x))

注意到，无论fff如何，共轭函数f∗f^*f∗总是闭凸的。
若函数fff是适当的，则f∗f^*f∗不一定是适当的。但若fff是适当的凸函数，则f∗f^*f∗也是适当的凸函数。

定理1[Fenchel’s inequality]

共轭函数的定义表明了
f(x)+f∗(y)≥xTy∀x,yf(x)+f^*(y)\geq x^T y \qquad \qquad \forall x,y f(x)+f∗(y)≥xTy∀x,y

二次共轭

二次共轭定义为：
f∗∗(x)=sup⁡y∈domf∗(xTy−f∗(y))f^{**}(x)=\sup_{y\in dom f^*}(x^Ty-f^*(y)) f∗∗(x)=y∈domf∗sup(xTy−f∗(y))则有以下结论：
（1）f∗∗f^{**}f∗∗是闭凸函数。
（2）由定理3.1，我们知道有xTy−f∗(y)≤f(x),∀y,xx^Ty-f^*(y)\le f(x),\forall y,xxTy−f∗(y)≤f(x),∀y,x，因此，我们有f∗∗(x)≤f(x),∀xf^{**}(x)\le f(x),\forall xf∗∗(x)≤f(x),∀x。
（3）如果fff是闭凸函数，则f∗∗(x)=f(x),∀x∈domff^{**}(x)=f(x),\forall x\in dom ff∗∗(x)=f(x),∀x∈domf。

（3）的证明：我们假设fff是闭凸函数，且epif∗∗≠epifepi\,f^{**}\neq epi\,fepif∗∗=epif，而由（2）我们知道epif⊆epif∗∗epi\,f\subseteq epi\,f^{**}epif⊆epif∗∗，我们不妨假设(x,f∗∗(x))∉epif(x,f^{**}(x))\notin epi\,f(x,f∗∗(x))∈/epif，由epifepi\,fepif的闭凸性，存在一个严格分离超平面：\
[ab]T[z−xs−f∗∗(x)]≤c<0∀(z,s)∈epif\begin{bmatrix} a\\b \end{bmatrix}^T \begin{bmatrix} z-x\\s-f^{**}(x) \end{bmatrix}\le c<0 \qquad \forall \,(z,s)\in epi\,f [ab]T[z−xs−f∗∗(x)]≤c<0∀(z,s)∈epif令s→∞s\rightarrow \inftys→∞，我们可以得到 b≤0b\le 0b≤0。

若b<0b<0b<0，我们设y=−a/by=-a/by=−a/b，将上式两边同除−b-b−b，并且对(z,s)(z,s)(z,s)取最大值，有：
f∗(y)−yTx+f∗∗(x)≤c−b<0f^*(y)-y^Tx+f^{**}(x)\le \frac{c}{-b}<0 f∗(y)−yTx+f∗∗(x)≤−bc<0这显然是与Fenchel’s inequality矛盾的。
若b=0b=0b=0，我们选取y^∈domf\hat{y}\in dom\,fy^∈domf，并选取足够小的ϵ>0\epsilon>0ϵ>0，则我们有：
[a+ϵy^−ϵ]T[z−xs−f∗∗(x)]≤c+ϵ(f∗(y^)+f∗∗(x)−xTy)<0\begin{bmatrix} a+\epsilon\hat{y}\\-\epsilon \end{bmatrix}^T\begin{bmatrix} z-x\\s-f^{**}(x) \end{bmatrix}\le c+\epsilon(f^*(\hat{y})+f^{**}(x)-x^Ty)<0 [a+ϵy^−ϵ]T[z−xs−f∗∗(x)]≤c+ϵ(f∗(y^)+f∗∗(x)−xTy)<0则化成了b<0b<0b<0的情况。
则（3）成立。