信息论相对熵的凸性证明

相对熵的凸性证明

相对熵的定义式：D(p∣∣q)=∑x∈Xp(x)log⁡2p(x)q(x)D(p||q) = \sum_{x\in X} p(x)\log_2^{\cfrac {p(x)}{q(x)}}D(p∣∣q)=x∈X∑p(x)log2q(x)p(x)
欲证明相对熵是下凸函数即证明不等式D(λp1(x)+(1−λp2(x))∣∣λq1(x)+(1−λq2(x)))≤λD(p1(x)∣∣q1(x))+(1−λ)D(p2(x)∣∣q2(x))D(\lambda p_1(x)+(1-\lambda p_2(x))||\lambda q_1(x)+(1-\lambda q_2(x))) \le \lambda D(p_1(x)||q_1(x))+(1- \lambda)D(p_2(x)||q_2(x))D(λp1(x)+(1−λp2(x))∣∣λq1(x)+(1−λq2(x)))≤λD(p1(x)∣∣q1(x))+(1−λ)D(p2(x)∣∣q2(x))成立
对不等式左项使用对数和不等式
D(λp1(x)+(1−λp2(x))∣∣λq1(x)+(1−λq2(x)))=∑x∈X((λp1(x)+(1−λp2(x)))log⁡2(λp1(x)+(1−λp2(x))(λq1(x)+(1−λq2(x))D(\lambda p_1(x)+(1-\lambda p_2(x))||\lambda q_1(x)+(1-\lambda q_2(x))) = \sum_{x \in X}((\lambda p_1(x)+(1-\lambda p_2(x)))\log_2^{\cfrac {(\lambda p_1(x)+(1-\lambda p_2(x))}{(\lambda q_1(x)+(1-\lambda q_2(x))}}D(λp1(x)+(1−λp2(x))∣∣λq1(x)+(1−λq2(x)))=x∈X∑((λp1(x)+(1−λp2(x)))log2(λq1(x)+(1−λq2(x))(λp1(x)+(1−λp2(x))
把这里面的λp1(x)+(1−λp2(x))\lambda p_1(x)+(1-\lambda p_2(x)) λp1(x)+(1−λp2(x))看作同一概率矢量的累加和则可以使用对数和不等式
((λp1(x)+(1−λp2(x)))log⁡2(λp1(x)+(1−λp2(x))(λq1(x)+(1−λq2(x))≤λp1(x)log2λp1(x)λq1(x)+(1−λ)p2(x)log2(1−λ)p2(x)(1−λ)q2(x)((\lambda p_1(x)+(1-\lambda p_2(x)))\log_2^{\cfrac {(\lambda p_1(x)+(1-\lambda p_2(x))}{(\lambda q_1(x)+(1-\lambda q_2(x))}} \le \lambda p_1(x)log_2^{\cfrac {\lambda p_1(x)}{\lambda q_1(x)}}+(1-\lambda)p_2(x)log_2^{\cfrac {(1-\lambda)p_2(x)}{(1-\lambda)q_2(x)}}((λp1(x)+(1−λp2(x)))log2(λq1(x)+(1−λq2(x))(λp1(x)+(1−λp2(x))≤λp1(x)log2λq1(x)λp1(x)+(1−λ)p2(x)log2(1−λ)q2(x)(1−λ)p2(x)
对不等式两边求和则得到∑x∈X((λp1(x)+(1−λp2(x)))log⁡2(λp1(x)+(1−λp2(x))(λq1(x)+(1−λq2(x))≤∑x∈Xλp1(x)log2λp1(x)λq1(x)+∑x∈X(1−λ)p2(x)log2(1−λ)p2(x)(1−λ)q2(x)\sum_{x\in X} ((\lambda p_1(x)+(1-\lambda p_2(x)))\log_2^{\cfrac {(\lambda p_1(x)+(1-\lambda p_2(x))}{(\lambda q_1(x)+(1-\lambda q_2(x))}} \le \sum_{x\in X} \lambda p_1(x)log_2^{\cfrac {\lambda p_1(x)}{\lambda q_1(x)}}+\sum_{x\in X}(1-\lambda)p_2(x)log_2^{\cfrac {(1-\lambda)p_2(x)}{(1-\lambda)q_2(x)}} x∈X∑((λp1(x)+(1−λp2(x)))log2(λq1(x)+(1−λq2(x))(λp1(x)+(1−λp2(x))≤x∈X∑λp1(x)log2λq1(x)λp1(x)+x∈X∑(1−λ)p2(x)log2(1−λ)q2(x)(1−λ)p2(x)
即D(λp1(x)+(1−λp2(x))∣∣λq1(x)+(1−λq2(x)))≤λD(p1(x)∣∣q1(x))+(1−λ)D(p2(x)∣∣q2(x))D(\lambda p_1(x)+(1-\lambda p_2(x))||\lambda q_1(x)+(1-\lambda q_2(x))) \le \lambda D(p_1(x)||q_1(x))+(1- \lambda)D(p_2(x)||q_2(x))D(λp1(x)+(1−λp2(x))∣∣λq1(x)+(1−λq2(x)))≤λD(p1(x)∣∣q1(x))+(1−λ)D(p2(x)∣∣q2(x))成立

信息论相对熵的凸性证明相关推荐

关于信息论中熵、相对熵、条件熵、互信息、典型集的一些思考
1. 绪论 0x1:信息论与其他学科之间的关系信息论在统计物理(热力学).计算机科学(科尔莫戈罗夫复杂度或算法复杂度).统计推断(奥卡姆剃刀,最简洁的解释最佳)以及概率和统计(关于最优化假设检验与估 ...
关于信息论中熵、相对熵、、条件熵、互信息、典型集的一些思考
1. 绪论 0x1:信息论与其他学科之间的关系信息论在统计物理(热力学).计算机科学(科尔莫戈罗夫复杂度或算法复杂度).统计推断(奥卡姆剃刀,最简洁的解释最佳)以及概率和统计(关于最优化假设检验与估 ...
深度学习数学基础-概率与信息论
前言概率论学科定义概率与信息论在人工智能领域的应用 3.1,为什么要使用概率论 3.2,随机变量 3.3,概率分布 3.3.1,离散型变量和概率质量函数 3.3.2,连续型变量和概率密度分布函数 ...
中科大凸优化P345678 Chapter2Conve Set
Chapter1 Introduction Chapter2 Convex Set P3&P4 1.特例:仿射集Affine Sets 给定两点(向量),确定一条直线贯穿两个点 $ \vec{ ...
（最优化理论与方法）第二章最优化所需基础知识-第七节：保凸的运算和共轭函数
文章目录一:保凸的运算 (1)非负加权和 (2)与仿射函数的复合 (3)逐点取最大值 (4)逐点取上界 (5)与标量函数复合 (6)与向量函数复合 (7)取下确界 (6)透视函数二:共轭函数 (1 ...
考研上交823上岸东南蒙纳什心得
目录 1 一志愿情况 1.1 失利原因1:缩招 1.2 失利原因2:专业课投入太多 2 调剂上岸东大 2.1 心态管理 2.2 东大招生福利 2.3 为什么选择东南?(复读不如东蒙!!) 1 一志愿情 ...
区块链：密码学与安全技术
工程领域从来没有黑科技:密码学不仅是工程. 密码学为核心的安全技术在信息科技领域的重要性无需多言.离开现代密码学和信息安全技术,人类社会将无法全面步入信息时代.区块链和分布式账本中大量使用了密码学和安 ...
交叉熵以及通过Python实现softmax_交叉熵（tensorflow验证）
文章目录交叉熵(Cross Entropy) 信息论相对熵交叉熵机器学习中的交叉熵为什么要用交叉熵做损失函数? 分类问题中的交叉熵 softmax softmax_cross_entropy ...
墨妈的教学笔记之《数据压缩》之一—绪论（数据压缩的可行性及思路）
解决数据压缩的问题通常可以从三步来分析:第一步是为什么要做,即数据压缩的必要性问题:第二步是为什么可以做,即分析信源数据的特性,并在此基础上进行数据压缩的可行性分析:第三步是在第二步分析的基础上,如何 ...
UA MATH636 信息论5 信道编码定理的证明
UA MATH636 信息论5 信道编码定理的证明 Random Coding Scheme 平均错误率最大错误率逆命题的证明信道编码定理说的是所有小于 CCC的传输率是可实现的.这里的 CCC ...

信息论相对熵的凸性证明

相对熵的凸性证明

信息论相对熵的凸性证明相关推荐

最新文章

热门文章