Jensen不等式讲解与证明

琴生不等式，是由丹麦数学家约翰•延森（Johan Jensen）命名，也成为Jensen不等式或者詹森不等式。码字不易，喜欢请点赞，谢谢！！！有问题随时欢迎交流。

首先，对于如凸函数f(x)f(x)f(x)，对任意0<=α<=10<=\alpha <=10<=α<=1，有如下不等式成立：
αf(x)+(1−α)f(y)>=f(αx+(1−α)y)\alpha f(x)+(1-\alpha)f(y)>=f(\alpha x+(1-\alpha)y)αf(x)+(1−α)f(y)>=f(αx+(1−α)y)
如下图所示。

现在我们证明对于凸函数f(x)f(x)f(x)来说，对任意λj>=0\lambda _j>=0λj>=0，并且有∑j=1Jλj=1\sum_{j=1}^{J}\lambda _j=1∑j=1Jλj=1，如下不等式成立：
∑j=1Jλjf(xj)>=f(∑j=1Jλjxj)\sum_{j=1}^{J}\lambda _jf(x_j)>=f(\sum_{j=1}^{J}\lambda _jx_j)j=1∑Jλjf(xj)>=f(j=1∑Jλjxj)
上面这个不等式就是著名的Jensen不等式。

证明：下面是Jensen不等式的证明
（1）首先对于J=1J=1J=1，很明显不等式成立；
（2）对于J=2J=2J=2，由上面的凸函数图可知，λ1f(x1)+λ2f(x2)>=f(λ1x1+λ2x2)\lambda _1f(x_1)+\lambda _2f(x_2)>=f(\lambda _1x_1+\lambda _2x_2)λ1f(x1)+λ2f(x2)>=f(λ1x1+λ2x2)，不等式成立；
（3）假设当J=nJ=nJ=n时，不等式成立，即∑j=1nλjf(xj)>=f(∑j=1nλjxj)\sum_{j=1}^{n}\lambda _jf(x_j)>=f(\sum_{j=1}^{n}\lambda _jx_j)∑j=1nλjf(xj)>=f(∑j=1nλjxj)
下面证明J=n+1J=n+1J=n+1时不等式成立即可：
∑j=1n+1λjf(xj)=λn+1f(xn+1)+∑j=1nλjf(xj)=λn+1f(xn+1)+(1−λn+1)∑j=1nλj1−λn+1f(xj)>=λn+1f(xn+1)+(1−λn+1)f(∑j=1nλj1−λn+1xj)>=f(λn+1xn+1+(1−λn+1)∑j=1nλj1−λn+1xj)=f(λn+1xn+1+∑j=1nλjxj)=f(∑j=1n+1λjxj)\begin{aligned} \sum_{j=1}^{n+1}\lambda _jf(x_j) = &\lambda _{n+1}f(x_{n+1})+\sum_{j=1}^{n}\lambda _jf(x_j)\\ &=\lambda _{n+1}f(x_{n+1})+({1-\lambda _{n+1}})\sum_{j=1}^{n}\frac{\lambda _j}{1-\lambda _{n+1}}f(x_j)\\ &>=\lambda _{n+1}f(x_{n+1})+({1-\lambda _{n+1}})f(\sum_{j=1}^{n}\frac{\lambda _j}{1-\lambda _{n+1}}x_j)\\ &>=f(\lambda _{n+1}x_{n+1}+({1-\lambda _{n+1}})\sum_{j=1}^{n}\frac{\lambda _j}{1-\lambda _{n+1}}x_j)\\ &=f(\lambda _{n+1}x_{n+1}+\sum_{j=1}^{n}\lambda _jx_j)\\ &=f(\sum_{j=1}^{n+1}\lambda _jx_j)\\ \end{aligned} j=1∑n+1λjf(xj)=λn+1f(xn+1)+j=1∑nλjf(xj)=λn+1f(xn+1)+(1−λn+1)j=1∑n1−λn+1λjf(xj)>=λn+1f(xn+1)+(1−λn+1)f(j=1∑n1−λn+1λjxj)>=f(λn+1xn+1+(1−λn+1)j=1∑n1−λn+1λjxj)=f(λn+1xn+1+j=1∑nλjxj)=f(j=1∑n+1λjxj)
因此，当J=n+1J=n+1J=n+1时，不等式成立。

通过上面三步的即证明了Jensen不等式成立。

同样可以证明：对于凹函数f(x)f(x)f(x)来说，对任意λj>=0\lambda _j>=0λj>=0，并且有∑j=1Jλj=1\sum_{j=1}^{J}\lambda _j=1∑j=1Jλj=1，如下不等式成立：
∑j=1Jλjf(xj)<=f(∑j=1Jλjxj)\sum_{j=1}^{J}\lambda _jf(x_j)<=f(\sum_{j=1}^{J}\lambda _jx_j)j=1∑Jλjf(xj)<=f(j=1∑Jλjxj)

Jensen不等式讲解与证明相关推荐

Jensen不等式及其详细证明——Emmm...?Emmm...! EM算法(1)
Emmm...?Emmm...?Emmm...? Emmm...!Emmm...!Emmm...! 接下来的几篇博客,我们来聊聊传说中的EM算法接下来的几篇博客,我们来聊聊传说中的EM算法接下来的几篇 ...
微积分中几个重要的不等式：Jensen不等式、平均值不等式、Holder不等式、Schwarz不等式、Minkovski不等式及其证明
目录一:几个重要不等式的形式 1,Jensen不等式 2,平均值不等式 3,一个重要的不等式 4,Holder不等式 5,Schwarz不等式和 Minkovski不等式二:不等式的证明 1 ...
2022刘仲文程聪孙迎迎--用Jensen不等式证明相对熵的非负性
学习内容:利用Jensen不等式证明相对熵的非负性,即: 相对熵的定义 Jensen不等式的内容第一次证明: 第一次证明是无效的,首先是因为Jensen不等式的公式构造有误,不等号右边应为,其次使用 ...
最优化之凸集、凸函数、上确界、Jensen不等式、共轭函数、Fenchel不等式、拉格朗日乘子法、KKT条件
最优化之凸集.凸函数.上确界.Jensen不等式.共轭函数.Fenchel不等式.拉格朗日乘子法.KKT条件.拉格朗日对偶 1.直线的向量表达 1.1 共线定理对于任意两个向量a⃗,b⃗\vec{a ...
EM算法-Jensen不等式
凸函数定义: 设是定义在区间 = [a, b]上的实值函数.如果对于任意的和,下列式子成立,则称是上的凸函数. 如果上述不等式为小于,则为严格凸. 图示: [定理]Jensen不等式设是定义在区间 ...
Lyapunov-Krasovskii泛函中Jensen不等式和倒凸组合引理的运用
Lyapunov-Krasovskii泛函中Jensen不等式和倒凸组合引理的运用 1 Lyapunov-Krasovskii泛函举例 2 Jensen不等式 3 倒凸组合引理 3.1 倒数凸组合定义 ...
Jensen不等式、数值积分的变分界、KL散度
Jensen不等式: Jensen's inequality 变分界:Variational bounding KL散度:KL-divergence Jesen不等式如果fff是凸函数,则对于随机变 ...
深度学习/机器学习入门基础数学知识整理（五）：Jensen不等式简单理解，共轭函数
Jensen不等式及其延伸凸函数最基本的不等式性质,又称Jensen不等式[1] f(θx+(1−θ)y)≤θ f(x)+(1−θ) f(y)f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y) ...
Pinsker 不等式的简单证明
Pinsker 不等式的简单证明网上有很多很多关于 Pinsker 不等式的证明方法,但是我没有看到一个用数学归纳法证明的,也没有看到一个不加先验定义的自包含的证明.下面我给出一个关于一个极简的证明 ...
Jensen不等式(琴生不等式)
每次用的时候都得查,所以索性之际记录一下注意凸函数的定义,上凸.下凸.凹.凸的含义是不同的 1.定义 Jensen不等式,又名琴森不等式或詹森不等式(均为音译).它是一个在描述积分的凸函数值和凸函数 ...

Jensen不等式讲解与证明

Jensen不等式讲解与证明相关推荐

最新文章

热门文章