共轭函数两个性质的证明

学习机器学习的时候有涉及到共轭函数（也叫对偶函数），这边文章总结一下共轭函数的学习

共轭函数的定义：对于函数 $f(x)$ 其定义如下：

$f^{*}(t)=\max_{x\in dom(f)}\{xt-f(x)\} \rightline{\text(1)}$

$dom(f)$ 表示函数 $f(x)$ 的定义域，可以这样理解这个函数：首先它是关于 $t$ 的函数，给定一个 $t$ 值时，关于 $x$ 的函数 $xt-f(x)$ 在定义域上的最大值，即 $f^{*}(t)$ 对应的值

共轭函数在支持向量机的数学理论证明有涉及过，在最近火的不行的Gan生成对抗神经网络进阶版本的数学推理中也发挥着神奇的作用（听说待学习）

因为它有两个非常好的性质：

1. 无论 $f(x)$ 是否是凸函数，其共轭函数都是凸函数

2. 凸函数的共轭函数的共轭函数是它自己

首先解释一下凸函数，机器学习里面的的凸函数和以前高中数学学到的凸函数有点不一样，在机器学习里面 $y=x^{2}$ 是凸函数， $y=-x^{2}$ 是凹函数，简单来说，机器学习里面的凸函数有下面的性质（也是凸函数的定义之一）：

$f(\theta x_{1}+(1-\theta)x_{2})\leq \theta f(x_{1})+(1-\theta))f(x_{2}))(\1\geq \theta\geq 0) \rightline{\text(2)}$

可以简单的从下图理解：（ $f(x)=x^2, x_{1}=-5 ,x_{2}=8, \theta=8/13$ ）

现在来证明共轭函数第一条性质，即：

1. 无论 $f(x)$ 是否是凸函数，其共轭函数都是凸函数

等价要证明：

$f^{*}(\theta t_{1}+(1-\theta) t_{2})\leq \theta f^{*}(t_{1})+(1-\theta)f^{*}(t_{2}) \rightline{\text(3)}$

代入共轭函数的定义，上述不等式等价于：

$\max_{x \in dom(f)}\{(\theta t_{1}+(1-\theta) t_{2})x-f(x)\} \leq \\ \theta\max_{x \in dom(f)}\{t_{1}x-f(x)\}+(1-\theta)\max_{x \in dom(f)}\{t_{2}x-f(x)\} \rightline{\text(4)}$

上述不等式左边等价于：

$\max_{x \in dom(f)}\{\theta (t_{1}x-f(x))+(1-\theta)( t_{2}x-f(x))\} \rightline{\text(5)}$

假设在 $x_{0}$ 出取到最大值，上式等于：

$\theta (t_{1}x_{0}-f(x_{0}))+(1-\theta)( t_{2}x_{0}-f(x_{0})) \rightline{\text(6)}$ 而 $\theta (t_{1}x_{0}-f(x_{0})) \leq \max_{x \in dom(f)}\{\theta(t_{1}x-f(x))\} \rightline{\text(7)}$ $(1-\theta)(t_{2}x_{0}-f(x_{0})) \leq \max_{x \in dom(f)}\{(1-\theta)(t_{2}x-f(x))\} \rightline{\text(8)}$

$\text(7)$ 和 $\text(8)$ 相加，右边把 $\theta$ 和 $1-\theta$ 从 $max$ 里面提取出来，即等于公式 $\text(4)$ 的右边，由此可证公式 $\text(3)$

证明共轭函数的第二条性质，即：

2. 凸函数的共轭函数的共轭函数是它自己

函数 $f(x)$ 的共轭函数如下：

$f^{*}(t)=\max_{x\in dom(f)}\{xt-f(x)\} \rightline{\text(10)}$

由于 $f(x)$ 是凸函数，给定 $t$ ,关于 $x$ 的函数 $xt-f(x)$ 最大值在导数等于 $0$ 的时候取得，（可以想象一下 $f(x)=x^{2}$ $t=1$ ）

即：

$(xt-f(x))^{'}=0 \rightline{\text(11)}$

$t=f^{'}_{x}(x) \rightline{\text(12)}$

即对于给定 $t$ ， $f^{'}_{x}(x)=t$ 对于的 $x$ 是 $xt-f(x)$ 的最大值，所以 $f^{*}(t)$ 又可以写成：

$f^{*}(t)=xt-f(x)| f^{'}_{x}(x)=t \rightline{\text(13)}$

$f^{*}(t)$ 的共轭函数如下：

$f^{**}(s)=\max_{t\in dom(f^{*})}\{ts-f^{*}(t)\} \rightline{\text(14)}$

同理，对于给定的 $s$ ， $(ts-f^{*}(t))^{'}_{t}=0$ 时，取最大值

$(ts-f^{*}(t))^{'}_{t}=s-(f^{*}(t))^{'}_{t}=0 \rightline{\text(15)}$

结合公式 $\text(13)$ (由于公式 $\text(12)$ ，x可以看成关于t的函数，根据复合函数求导和乘积求导法则，可以得到下面的等式)：

$s=(f^{*}(t))^{'}_{t}=x+tx^{'}_{t}-f^{'}_{x}(x)x^{'}_{t} \rightline{\text(16)}$

代入公式 $\text(12)$ ，上述等式等价于：

$s=(f^{*}(t))^{'}_{t}=x+tx^{'}_{t}-tx^{'}_{t}=x \rightline{\text(17)}$

即对于给定的 $s$ , $x=s$ 时， $ts-f^{*}(t)$ 取最大值，即：

$f^{**}(s)=tx-f^{*}(t) \rightline{\text(18)}$

代入 $\text{(13)}$ ：

$f^{**}(s)=tx-f^{*}(t)=tx-(xt-f(x))=f(x)=f(s) \rightline{\text(19)}$

即f(x)的共轭函数的共轭函数是它自己

共轭函数两个性质的证明相关推荐

输入一个正整数求所有素数因子_一起来聊聊素数的两个性质
素数(prime number),又称质数,有无限个. 定义:在大于1的自然数中,除了1和它本身以外不再有其他因数. 来介绍两个简单的性质: 质数的个数是无穷的. 欧几里得的<几何原本>曾 ...
与素数有关的一些性质及证明（一）
文章目录写在前面素数.合数定理:带余除法整除.因数 ★\bigstar★命题:除数整除被除数的倍数和公因数.最大公因数除数与被除数的最大公因数等于除数与余数的最大公因数辗转相除法:求两整 ...
zoj 1562 反素数附上个人对反素数性质的证明
反素数的定义:对于不论什么正整数,其约数个数记为.比如,假设某个正整数满足:对随意的正整数.都有,那么称为反素数. 从反素数的定义中能够看出两个性质: (1)一个反素数的全部质因子必定是从2開始的连 ...
高数 | 开闭区间上连续函数的性质及证明
一.有界性定理函数的上界和下界的绝对值不一定相等. 函数在某区间上不是有界就是无界,二者必属其一: 要证明f(x)在X上有界,必须找到一个M>0,使任意x属于X都有 |f(x)|<=M: ...
单源最短路径：最短路径性质的证明
本节就之前给出的一部分性质进行严密的证明,而非通过"显然"等模糊的语句. 1.三角不等式性质引理10:设G = ( V,E)为一个带权重的有向图,其权重函数 w :E→R,其源节 ...
线性空间一些基本性质的证明
线性代数里面蕴含着丰富的数形结合思想,结合图形来理解,难度会小很多,以下证明不一定严密,但至少不依赖任何技巧的花哨的数学方法,依赖空间直觉得出自然而然的结论,学习线性空间理论,应该低起点,高观点. 0 ...
《小学生都能看懂的三类斯特林数从入门到升天教程》（含性质完整证明、斯特林反演、拉赫数）
整理的算法模板合集: ACM模板点我看算法全家桶系列!!! 实际上是一个全新的精炼模板整合计划真的特别简单,我尽量讲的详细一些,本文包含了几乎所有性质定理证明,老少皆宜 ~ 内容过多,质量过硬,建 ...
两次拉格朗日中值证明曲线凹凸性定理_2016514
两次拉格朗日中值证明曲线凹凸性定理
傅里叶变换的性质及证明
傅里叶变换的性质及证明 1. 线性性质 F[αf1(t)+βf2(t)]=αF1(ω)+βF2(ω)\qquad F[\alpha f_1(t)+\beta f_2(t)]=\alpha F_1(\o ...

共轭函数两个性质的证明

共轭函数两个性质的证明相关推荐

最新文章

热门文章