从jensen不等式到相对熵的非负性性

前言：在上上次博客我们证明观测到的归一化的频率就是最大似然估计的解时，我们用到了相对熵恒大于等于0的性质，那么本文就当是扩展一下知识，主要以证明和介绍为主。
首先我们简要介绍一下熵的概念。“熵”这一概念并不仅仅存在于物理化学中，还应用于信息论中。熵是结果不确定度的一种度量。shannon熵定义为：
H(x)=−∑iP(xi)log⁡P(xi)H ( x ) = - \sum _ { i } P \left( x _ { i } \right) \log P \left( x _ { i } \right)H(x)=−∑iP(xi)logP(xi)
其中X为随机变量，它在K个事件x1x_{1}x1,x2x_{2}x2,xkx_{k}xk的离散集合上有概率P(xix_{i}xi)
ps:我们可以试着证明一下当其实均匀分布时，它的熵值最大。(思路提示：可以用用最小二乘法。具体详见下篇文章。)
相对熵又称KL散度，信息散度，是两个概率分布间差异的非对称性度量。令P(X),Q(X)是随机变量X的概率分布，则在其实离散型随机变量的情况下，相对熵为：
H(P∥Q)=∑iP(xi)log⁡P(xi)Q(xi)H ( P \| Q ) = \sum _ { i } P \left( x _ { i } \right) \log \frac { P \left( x _ { i } \right) } { Q \left( x _ { i } \right) }H(P∥Q)=∑iP(xi)logQ(xi)P(xi)
故我们观察相对熵的形式可以发现，它可以看做是对数几率(计分矩阵中的分值)的期望，即将P(X)看做是在匹配模型M中的残基a,b的联配概率，而Q(X)看做是无关模型中的残基a,b的独立出现的概率。故相对熵可作为模型的期望分值。
回归本文的主题，即证明相对熵的正定性。因为证明的过程中用到了jensen
不等式，所以我们先证明一下jensen不等式。
jensen不等式在概率论、机器学习、测度论等有着广泛的应用。
证明之前我们先了解凸函数的性质：
tf(x1)+(1−t)f(x2)≥f(tx1+(1−t)x2)t f \left( x _ { 1 } \right) + ( 1 - t ) f \left( x _ { 2 } \right) \geq f \left( t x _ { 1 } + ( 1 - t ) x _ { 2 } \right)tf(x1)+(1−t)f(x2)≥f(tx1+(1−t)x2)
x1x_{1}x1,x2x_{2}x2是凸函数上的任意两点，且t属于[0,1]

证明过程如下：
若对于任意的点集{xix_{i}xi},若λi\lambda_{i}λi>0,且∑iλi=1\sum _ { i } \lambda _ { i } = 1∑iλi=1，请证明凸函数f(x)满足：
f(∑i=1Mλixi)≤∑i=1Mλif(xi)f \left( \sum _ { i = 1 } ^ { M } \lambda _ { i } x _ { i } \right) \leq \sum _ { i = 1 } ^ { M } \lambda _ { i } f \left( x _ { i } \right)f(∑i=1Mλixi)≤∑i=1Mλif(xi)
数学归纳法进行证明：
当i=1或2时，由凸函数的性质一易知该不等式成立。
假设当i=M时，不等式成立。
现在证当i=M+1时，该不等式也成立。即证明： f(∑i=1M+1λixi)≤∑i=1M+1λif(xi)f \left( \sum _ { i = 1 } ^ { M+1 } \lambda _ { i } x _ { i } \right) \leq \sum _ { i = 1 } ^ { M+1 } \lambda _ { i } f \left( x _ { i } \right)f(∑i=1M+1λixi)≤∑i=1M+1λif(xi) 我们首先处理不等号左边的式子：
f(∑i=1M+1λixi)f \left( \sum _ { i = 1 } ^ { M+1} \lambda _ { i } x _ { i } \right)f(∑i=1M+1λixi) = f(∑i=1Mλixi+λM+1xM+1)f \left( \sum _ { i = 1 } ^ { M } \lambda _ { i } x _ { i } + \lambda _ { M + 1 } x _ { M+1 } \right)f(∑i=1Mλixi+λM+1xM+1)
为了符合凸函数中t,(1-t)的形式，我们令ai=λi1−λM+1a _ { i } = \frac { \lambda _ { i } } { 1 - \lambda_{M+1}}ai=1−λM+1λi

故 f(∑i=1M+1λixi)f \left( \sum _ { i = 1 } ^ { M+1} \lambda _ { i } x _ { i } \right)f(∑i=1M+1λixi)=f(λM+1xM+1+(1−λM+1)∑i=1Maixi)f \left( \lambda _ { M + 1 } x _ { M + 1 } + \left( 1 - \lambda _ { M + 1 } \right) \sum _ { i = 1 } ^ { M } \ a _ { i } x _ { i } \right)f(λM+1xM+1+(1−λM+1)∑i=1M aixi)
所以根据凸函数的性质对等号右边的式子进一步处理可得：

f(∑i=1M+1λixi)≤λM+1f(xM+1)+(1−λM+1)f(∑i=1Maixi)f \left( \sum _ { i = 1 } ^ { M + 1 } \lambda _ { i } x _ { i } \right) \leq \lambda _ { M + 1 } f \left( x _ { M + 1 } \right) + \left( 1 - \lambda _ { M + 1 } \right) f \left( \sum _ { i = 1 } ^ { M } \ a _ { i } x _ { i } \right)f(∑i=1M+1λixi)≤λM+1f(xM+1)+(1−λM+1)f(∑i=1M aixi)
根据我们的假设当i=M,不等式成立得：
f(∑i=1maixi)⩽∑i=1Maif(xi)f \left( \sum _ { i = 1 } ^ { m } a _ { i } x _ { i } \right) \leqslant \sum _ { i = 1 } ^ { M } a _ { i } f \left( x _ { i } \right)f(∑i=1maixi)⩽∑i=1Maif(xi)
所以将上一个式子带入上上个式子中得：
f(∑i=1M+1λixi)≤λM+1f(xM+1)+(1−λM+1)∑i=1Maif(xi)f \left( \sum _ { i = 1 } ^ { M + 1 } \lambda _ { i } x _ { i } \right) \leq \lambda _ { M + 1 } f \left( x _ { M + 1 } \right) + \left( 1 - \lambda _ { M + 1 } \right) \sum _ { i = 1 } ^ { M } a _ { i } f \left( x _ { i } \right)f(∑i=1M+1λixi)≤λM+1f(xM+1)+(1−λM+1)∑i=1Maif(xi)

又因为ai=λi1−λM+1a _ { i } = \frac { \lambda _ { i } } { 1 - \lambda_{M+1}}ai=1−λM+1λi 代入得：
f(∑i=1M+1λixi)⩽λM+1f(xM+1)+∑i=1Mλif(xi)f \left( \sum _ { i = 1 } ^ { M+1 } \lambda _ { i } x _ { i } \right) \leqslant \lambda _ { M + 1 } f \left( x _ { M+1 } \right) + \sum _ { i = 1 } ^ { M }\lambda_{i} f \left( x _ { i } \right)f(∑i=1M+1λixi)⩽λM+1f(xM+1)+∑i=1Mλif(xi)=∑i=1M+1λif(xi)\sum _ { i = 1 } ^ { M+1 } \lambda _ { i } f \left( x _ { i } \right)∑i=1M+1λif(xi)
因此当i=M+1时，jensen不等式亦成立。
综上，jensen不等式成立。同理可证，但函数为凹函数时，jensen不等式的符号相反。
jensen不等式可以用来证明均值不等式、Holder不等式以及柯西不等式。同时jensen不等式可以用来证明相对熵的正定性。
All right, 我们已经证明了jensen不等式成立，可以放心的使用啦。
相对熵的非负性性证明：
证明：H(P∥Q)=∑iP(xi)log⁡P(xi)Q(xi)H ( P \| Q ) = \sum _ { i } P \left( x _ { i } \right) \log \frac { P \left( x _ { i } \right) } { Q \left( x _ { i } \right) }H(P∥Q)=∑iP(xi)logQ(xi)P(xi) >=0
即证：-H(P∥Q)=∑iP(xi)log⁡P(xi)Q(xi)H ( P \| Q ) = \sum _ { i } P \left( x _ { i } \right) \log \frac { P \left( x _ { i } \right) } { Q \left( x _ { i } \right) }H(P∥Q)=∑iP(xi)logQ(xi)P(xi) <=0
即证： ∑iP(xi)log⁡Q(xi)+∑iP(xi)log⁡1P(xi)\sum _ { i } P \left( x _ { i } \right) \log Q \left( x _ { i } \right) + \sum _ { i } P \left( x _ { i } \right) \log \frac { 1 } { P \left( x _ { i } \right) }∑iP(xi)logQ(xi)+∑iP(xi)logP(xi)1 <=0
因为将P(x)看做是自变量，故log⁡1P(xi)\log \frac { 1 } { P \left( x _ { i } \right) }logP(xi)1可看做是凹函数。
故在凹函数下，根据jensen不等式：
f(∑i=1Mλixi)⩽∑i=1Mλif(xi)f \left( \sum _ { i = 1 } ^ { M } \lambda _ { i } x _ { i } \right) \leqslant \sum _ { i = 1 } ^ { M } \lambda _ { i } f \left( x _ { i } \right)f(∑i=1Mλixi)⩽∑i=1Mλif(xi)
故：
∑iP(xi)log⁡1P(xi)\sum _ { i } P \left( x _ { i } \right) \log \frac { 1 } { P \left( x _ { i } \right) }∑iP(xi)logP(xi)1<=log⁡1\log1log1=0
即可证：
-H(P∥Q)=∑iP(xi)log⁡P(xi)Q(xi)H ( P \| Q ) = \sum _ { i } P \left( x _ { i } \right) \log \frac { P \left( x _ { i } \right) } { Q \left( x _ { i } \right) }H(P∥Q)=∑iP(xi)logQ(xi)P(xi) <=0
证得：
H(P∥Q)=∑iP(xi)log⁡P(xi)Q(xi)H ( P \| Q ) = \sum _ { i } P \left( x _ { i } \right) \log \frac { P \left( x _ { i } \right) } { Q \left( x _ { i } \right) }H(P∥Q)=∑iP(xi)logQ(xi)P(xi)>=0

参考资料：刘勇. 关于詹森不等式证明不等式问题[J]. 科教文汇(29期):136-136.

从jensen不等式到相对熵的非负性性相关推荐

2022刘仲文程聪孙迎迎--用Jensen不等式证明相对熵的非负性
学习内容:利用Jensen不等式证明相对熵的非负性,即: 相对熵的定义 Jensen不等式的内容第一次证明: 第一次证明是无效的,首先是因为Jensen不等式的公式构造有误,不等号右边应为,其次使用 ...
最优化之凸集、凸函数、上确界、Jensen不等式、共轭函数、Fenchel不等式、拉格朗日乘子法、KKT条件
最优化之凸集.凸函数.上确界.Jensen不等式.共轭函数.Fenchel不等式.拉格朗日乘子法.KKT条件.拉格朗日对偶 1.直线的向量表达 1.1 共线定理对于任意两个向量a⃗,b⃗\vec{a ...
Lyapunov-Krasovskii泛函中Jensen不等式和倒凸组合引理的运用
Lyapunov-Krasovskii泛函中Jensen不等式和倒凸组合引理的运用 1 Lyapunov-Krasovskii泛函举例 2 Jensen不等式 3 倒凸组合引理 3.1 倒数凸组合定义 ...
Jensen不等式、数值积分的变分界、KL散度
Jensen不等式: Jensen's inequality 变分界:Variational bounding KL散度:KL-divergence Jesen不等式如果fff是凸函数,则对于随机变 ...
Jensen不等式(琴生不等式)
每次用的时候都得查,所以索性之际记录一下注意凸函数的定义,上凸.下凸.凹.凸的含义是不同的 1.定义 Jensen不等式,又名琴森不等式或詹森不等式(均为音译).它是一个在描述积分的凸函数值和凸函数 ...
正值实系数多项式函数所对应的导数累加和是否非负？
简介: 对于多项式导数累计的性质证明,告诉我们数学的证明与工程上的证明是多么大的区别.这道微积分的考试题目让我思考了一整天,只有看到网络上的证明才会有感到恍然大悟的感觉. 这个证明太绝妙了. 关键词 ...
图论(四)------非负权有向图的单源最短路径问题，Dijkstra算法
Dijkstra算法解决了有向图G=(V,E)上带权的单源最短路径问题,但要求所有边的权值非负. Dijkstra算法是贪婪算法的一个很好的例子.设置一顶点集合S,从源点s到集合中的顶点的最终最短路径 ...
高精度加法（非负）和大数阶乘及和汽水问题
高精度加法(非负)和大数阶乘文章目录高精度加法(非负)和大数阶乘一.问题描述二.代码三.问题描述四.代码五.问题描述六.代码一.问题描述二.代码 #define _CRT_SECU ...
17种常用的JS正则表达式非负浮点数非负正数
<input type='text' id='SYS_PAGE_JumpPage' name='SYS_PAGE_JumpPage' size='3' maxlength='5' οnkeyup ...
HDU 1422 重温世界杯环形序列的最长非负连续子序列
重温世界杯 Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others) Total Subm ...

从jensen不等式到相对熵的非负性性

从jensen不等式到相对熵的非负性性

从jensen不等式到相对熵的非负性性相关推荐

最新文章

热门文章