本总结是是个人为防止遗忘而作，不得转载和商用。

前提说明：为了方便查阅，我将整个凸优化的内容分成了很多部分，因为后面的部分用到了前面的知识，所以，如果你的目的是查看后面的内容但对前面的某个知识点不甚了解的话可以根据标题查看前面的部分。

Jensen不等式

还记得凸函数的定义吗？

也就是这个公式：f(θx+ (1-θ)y) ≤θf(x) + (1-θ)f(y)

用大白话说的话就是：函数图像在线段的下方。

其实这个就是Jensen不等式的基本形式，是不是好简单！不过这个只是2个元素x和y，太简单了，所以需要将其维度升上去，即：

θ₁,…, θ_k ≥ 0，θ₁ + … + θ_k = 1 时

f(θ₁x₁+ … + θ_kx_k) ≤θ₁f(x₁)+ … + θ_kf(x_k) 式3

现在注意！我要做一个思维扩展！

对于θ₁,…, θ_k ≥ 0，θ₁ + … + θ_k = 1，如果把θ_k看成x_k的概率的话，那它是不是和分布律的性质一模一样！而上面的式子仅仅说是函数f，它又没说这个函数是给谁服务的，既然这个θ_k完全满足分布律的要求，那我就可以将x_k看成一个个事件，θ_k就是x_k发生的概率！

既然如此，θ₁x₁+ … + θ_kx_k是什么？如果你高数底子扎实的话会一眼看出：这是x的期望！于是式3的左边就是一个“参数是期望的函数”，即：f(E(x))！

同理，式3的右边是f(x)的期望，即：E(f(x))，于是式3就可以写成：

f(E(x)) ≤ E(f(x))

这是什么？

这就是我们随便找个Jensen不等式资料中给出的Jensen不等式！

不过，可千万别忘了满足上式的前提条件：函数f是凸函数。

共轭函数

这是这个意思：我们求y^Tx- f(x) 这个关于x和y函数在定义域内的上界，将这个上界形成的函数定义为共轭函数。

如果没概念的话就再看这个图

图1

图中对应那些直线如果是y^Tx- f(x) 的图像的话，那图中的上确界就是那些直线的共轭函数的图像。

其实也就是这样，不信你再看看共轭函数的定义式：先看左边，既然是f*(y)，那这个函数就是关于y的函数，于是函数右边的y^Tx - f(x) 部分的x就是y的系数，f(x)就是一个常数，当x和y都是一维的时候这不就是直线的方程吗？对吧。

话说上面的解释虽然很直观，但我想下面的理解方法也需要给出。

如下图所示：

假设y=2时，y^Tx的图像是xy那条虚线，而定义式右边的部分是求x等于多少时y^Tx - f(x)的值最大，在上图中我们可以一眼看出，在“和xy平行且是f(x)切线的那个点”处两函数的差值最大，假设差值是10，于是我们就求出y^Tx - f(x)的共轭函数的一个点，即f*(2) = 10，就这样把y扩展到这个定义域范围内后就得到了整个共轭函数。

然后说几点：

1，定义式中的f(x)不一定是凸函数。

2，共轭函数一定是凸函数。（嗯？你问为啥？你再看看图1）

3，凸函数的共轭函数的共轭函数是其本身。

如何求共轭函数

上面只是为了直观的理解共轭函数，那如果求呢？看下面的例子：

假设有函数f(x) = x^TQx/2，其中Q是可逆的对称阵，算它的共轭函数，根据定义就是求：g(x, y) = y^Tx - x^TQx/2 的上确界。

于是将g(x, y)对x求偏导：

g’(x,y) = (y^Tx)’ - (x^TQx/2)’

因为x^TQx对x求偏导的结果是2Qx，所以上式继续推导为：

=y - Qx

另偏导等于0，得：

x= Q^-1y

因为是求偏导，所以得到的是上确界，于是把上式代入g(x, y)后就得f(x)的共轭函数：

f*(y)= y^TQ^-1y

Fenchel不等式

还记得共轭函数的定义式吗？不记得的话往上翻翻~

总之，根据共轭函数的定义，f*(x)是对y^Tx- f(x)求上确界，于是一定有f*(x)≥y^Tx - f(x)，把f(x)移到左边于是就有了下面的式子：

f(x) + f*(y)≥x^Ty

这，就是Fenchel不等式。

但这有什么用呢？

你看啊，从小学开始我们就在学习一些奇怪的不等式，如：

两个正数的算术平均数大于等于几何平均数，即：

这个还蛮好证明的：因为对于两个正数x、y有x²+y²≥2xy，这时令a=x²、b=y²，就得出了上面的公式，但下面这个不等式你知道怎么证明吗？

给定可逆对称阵Q，对于任意的向量x、y，有：

x^TQx+ y^TQ^-1y ≥ 2x^Ty

不知道吧。

其实这个用Fenchel不等式就可以证明。

还记得共轭函数里已经求得的f(x)= x^TQx/2时f(x)的共轭函数是f*(y) = y^TQ^-1y吗？将其代入到Fenchel不等式中就立马得到了x^TQx+ y^TQ^-1y ≥ 2x^Ty。

PS：x^TQx+ y^TQ^-1y ≥ 2x^Ty退化到一维就是ax² + y²/a ≥ 2xy。

凸优化 - 3 - Jensen不等式、共轭函数、Fenchel不等式相关推荐

中科大-凸优化笔记（lec9）-广义不等式、分离与支撑超平面、对偶锥与广义不等式
全部笔记的汇总贴(这一节的视频缺失):中科大-凸优化内容是自己看书上的三节整理的,和前面几节一样,算是一些基础性的理论知识. 只能说这一块儿先就这样,后面的课程如果遇到需要进行补充学习的地方,再进行 ...
Boyd 凸优化课后习题求共轭函数
求下面问题的一系列共轭函数 (a) 最大值函数.函数f(x)=max⁡i=1,-,nxif(x)=\max_{i=1,\dots,n}x_if(x)=maxi=1,-,nxi,定义在Rn\math ...
最优化之凸集、凸函数、上确界、Jensen不等式、共轭函数、Fenchel不等式、拉格朗日乘子法、KKT条件
最优化之凸集.凸函数.上确界.Jensen不等式.共轭函数.Fenchel不等式.拉格朗日乘子法.KKT条件.拉格朗日对偶 1.直线的向量表达 1.1 共线定理对于任意两个向量a⃗,b⃗\vec{a ...
凸优化学习笔记 15：梯度方法
前面的章节基本上讲完了凸优化相关的理论部分,在对偶原理以及 KKT 条件那里我们已经体会到了理论之美!接下来我们就要进入求解算法的部分,这也是需要浓墨重彩的一部分,毕竟我们学习凸优化就是为了解决实际当 ...
凸优化学习笔记 11：对偶原理拉格朗日函数
前面讲了凸优化问题的定义,以及一些常见的凸优化问题类型,这一章就要引入著名的拉格朗日函数和对偶问题了.通过对偶问题,我们可以将一些非凸问题转化为凸优化问题,还可以求出原问题的非平凡下界,这对复杂优化问 ...
《凸优化》中科大-讲解 -系列笔记（汇总55/55）
本人学习所有系列:汇总帖这是一篇汇总贴 1-2:推荐书目,引言,常见例子,优化问题分类,发展史 3-4:仿射/凸/凸锥 + 集/组合/包 5-6:几种重要的凸集:超平面与半空间/球和椭球/多面体/单 ...
凸优化第三章凸函数 3.3 共轭函数
3.3 共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数 ...
凸优化第三章凸函数 3.3共轭函数
3.3共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数, ...
浅谈凸优化中的共轭函数
浅谈凸优化中的共轭函数函数ff的共轭定义: f∗(y)=sup(yTx−f(x))f^*(y) = \sup (y^Tx - f(x)), x∈domf{x\in {\bf dom} f} 可见,共 ...
微积分中几个重要的不等式：Jensen不等式、平均值不等式、Holder不等式、Schwarz不等式、Minkovski不等式及其证明
目录一:几个重要不等式的形式 1,Jensen不等式 2,平均值不等式 3,一个重要的不等式 4,Holder不等式 5,Schwarz不等式和 Minkovski不等式二:不等式的证明 1 ...

凸优化 - 3 - Jensen不等式、共轭函数、Fenchel不等式

Jensen不等式

共轭函数

如何求共轭函数

Fenchel不等式

凸优化 - 3 - Jensen不等式、共轭函数、Fenchel不等式相关推荐

最新文章

热门文章