3.3共轭函数

定义
基本性质

定义

设函数 $f:R^n\rightarrow R$ ，定义函数 $f^*:R^n\rightarrow R$ 为：

$f^*(y)=\underset{x\in dom(f)}{sup}(y^Tx-f(x))$

此函数称为f(x)的共轭函数。从3.2节逐点上确界的内容也可以看出，此函数也是 $g(x,y)=(y^Tx-f(x))$ 的逐点上确界函数，而 $g(x,y)=(y^Tx-f(x))$ 是关于y的仿射函数，可以将其看成是凸函数，这样 $f^*(y)$ 也是凸函数。故对任意的函数f(x)， $f^*(y)$ 为凸函数。

在实际问题中，可以将x理解为生产一个产品所需要的资源，而f(x)则为生产x的资源的价格，y则是x的销售价格，那么 $f^*(y)$ 也就变成了最大盈利问题。

几何上，共轭函数 $f^*(y)$ 表示了线性函数 $y^Tx$ 和f(x)之间的最大差异。如下图：

基本性质

Fenchel不等式

由定义：

$f^*(y)=\underset{x\in dom(f)}{sup}(y^Tx-f(x))$

可知：

$f(x)+f^*(y)\leq y^Tx=x^Ty$

此为Fenchel不等式。

共轭的共轭

凸函数f的共轭函数的共轭函数为函数f本身。

可微函数

设函数f是凸函数且可微， $dom(f)=R^n$ ，使 $y^Tx-f(x)$ 最大，对x求导，得到：

$\frac{\partial y^Tx-f(x)}{\partial x}=y-\bigtriangledown f(x)$

令其为0，得到：

$y=\bigtriangledown f(x)$

假设使 $y^Tx-f(x)$ 的x为 $x^*$ ，则 $y=\bigtriangledown f(x^*)$ ，代入 $y^Tx-f(x)$ 得到：

$\bigtriangledown^T f(x^*)x^*-f(x^*)=(x^*)^T\bigtriangledown f(x^*)-f(x^*)$

所以如果给定y，可以通过求解方程 $y=\bigtriangledown f(z)$ ，得到z，从而得到共轭函数 $f^*(y)$

换一个角度理解：

$\forall z\in R$ ,令 $y=\bigtriangledown f(z)$ ，则 $f^*(y)=z^T\bigtriangledown f(z)-f(z)$

伸缩变换和复合仿射变换

(1)若 $a>0,b\in R,g(x)=af(x)+b\Rightarrow g^*(y)=af^*(y/a)-b$

证明：

$g^*(y)=\underset{x\in dom(f)}{sup}y^Tx-af(x)-b$

对x求导，并令其为0，得到：

$\frac{\partial g^*(y)}{\partial x}=y-a\bigtriangledown f(x)=0\Rightarrow y=a\bigtriangledown f(x)$

此时令最大解 $x^*$ ，则 $y=a\bigtriangledown f(x^*)$ ，代入

$g^*(y)=a \bigtriangledown^T f(x^*)x^*-af(x^*)-b=a(\bigtriangledown^T f(x^*)x^*-f(x^*))-b$

再看f的共轭函数 $f^*(y)$ ，对x求导，并令其为0，记最大解为 $x^{*1}$

$y^{'}=\bigtriangledown f(x^{*1})$

$f^*(y^{'})=\bigtriangledown ^Tf(x^{*1})x^{*1}-f(x^{*1})$

因为a>0，所以g(x)和f(x)的最大解是同一个解，故 $x^*=x^{*1}$

所以， $y^{'}=y/a$ ，故：

$g^*(y)=a(\bigtriangledown^T f(x^*)x^*-f(x^*))-b=af^*(y/a)-b$

(2)设 $A\in R^{n\times n}$ 非奇异， $b\in R^n$ ，则函数 $g(x)=f(Ax+b)$ 的共轭函数为 $g^*(y)=f^*(A^{-T}y)-b^TA^{-T}y$ ，且定义域为

$dom(g^*)=A^Tdom(f^*)$

证明：

$g^*(y)=\underset{x\in dom(f)}{sup}y^Tx-f(Ax+b)$

对x求导，并令其为0，得到：

$\frac{\partial g^*(y)}{\partial x}=y-A^T\bigtriangledown f(Ax+b)=0\Rightarrow y=A^T\bigtriangledown f(Ax+b)$

记最大解为 $x^{*1}$ ，则：

$g^*(y)=\bigtriangledown^T f(Ax^{*1}+b)Ax^{*1}-f(Ax^{*1}+b)$

再看f的共轭函数 $f^*(y)$ ，对x求导，并令其为0，记最大解为 $x^{*}$

$y^{'}=\bigtriangledown f(x^{*})$

$f^*(y^{'})=\bigtriangledown ^Tf(x^{*})x^{*}-f(x^{*})$

g(x)和f(x)的最大解是同一个解，故 $x^*=Ax^{*1}+b\Rightarrow x^{*1}=A^{-1}(x^*-b)$ ，代入到 $g^*(y)$ 中

$g^*(y)=\bigtriangledown^T f(Ax^{*1}+b)AA^{-1}(x^*-b)-f(Ax^{*1}+b)$

$=\bigtriangledown^T f(x^*)x^*-\bigtriangledown^T f(x^*)b-f(x^*)$ $=f^*(y^{'})-\bigtriangledown^T f(x^*)b$

又 $y=A^T\bigtriangledown f(Ax^{*1}+b)=A^T\bigtriangledown f(x^*)\Rightarrow \bigtriangledown f(x^*)=(A^T)^{-1}y$

代入： $g^*(y)=f^*(y^{'})-((A^T)^{-1}y)^Tb=f^*(y^{'})-b^T(A^T)^{-1}y$

又 $y^{'}=\bigtriangledown f(x^{*})$ ， $y=A^T\bigtriangledown f(x^*)\Rightarrow y^{'}=(A^T)^{-1}y$

故： $g^*(y)=f^*((A^T)^{-1}y)-b^T(A^T)^{-1}y$

得证

独立函数的和

如果函数 $f(u,v)=f_1(u)+f_2(v)$ ，且 $f_1,f_2$ 是凸函数，且共轭函数分别为 $f_1^*,f_2^*$ ，则 $f^*(w,z)=f_1^*(w)+f_2^*(z)$

凸优化第三章凸函数 3.3共轭函数相关推荐

凸优化第三章凸函数 3.3 共轭函数
3.3 共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数 ...
凸优化第三章凸函数 3.1基本性质和例子
3.1基本性质和例子定义扩展值延伸一阶条件二阶条件例子下水平集上境图 Jensen不等式及其扩展不等式定义函数f是凸函数,当f的定义域S是凸集,且严格凸函数: 从几何上来看,如下 ...
凸优化第三章凸函数 3.5 对数-凹函数和对数-凸函数
3.5 对数-凹函数和对数-凸函数定义相关性质定义称函数对数凹,如果是凹函数. 称函数对数凸,如果是凸函数. 函数f是对数凸的当且仅当1/f是对数凹的. 当时,,相当于对log(f)进行扩展值 ...
【凸优化笔记二】凸函数基本性质和例子
[凸优化笔记二]凸函数基本性质和例子凸函数的四个定义定义一定义二定义三定义四一些栗子凸函数的四个定义定义一其中 dom fff 是函数 fff 的定义域(前域),为凸集--这个很重 ...
凸优化 matlab-cvx-第十一章ADVANCED TOPICS
注意:在本节中,我们描述了CVX的一些更高级的功能.我们建议你先跳过这一节,直到你对上面描述的基本能力感到满意为止. 11.1消除二次型我们强烈建议的一个特殊的改写是消除二次型- -即像sum _ ...
凸优化 - 2 - 凸集和凸函数
本总结是是个人为防止遗忘而作,不得转载和商用. 前提说明:为了方便查阅,我将整个凸优化的内容分成了很多部分,因为后面的部分用到了前面的知识,所以,如果你的目的是查看后面的内容但对前面的某个知识点不甚了 ...
凸优化第四章凸优化问题 4.2凸优化
4.2凸优化标准形式的凸优化问题局部最优解与全局最优解可微函数的最优性准则等价的凸问题拟凸优化标准形式的凸优化问题是凸函数,等式约束是仿射函数.则此优化问题是凸优化问题. 也可以写成重 ...
凸优化第五章对偶 5.1 Lagrange对偶函数
5.1 Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这 ...
凸优化第五章对偶 5.1Lagrange对偶函数
5.1Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这里 ...

凸优化第三章凸函数 3.3共轭函数