熵，条件熵，相对熵，互信息的相关定义及公式推导

转自https://www.cnblogs.com/baby-lily/p/12859827.html

熵

熵是随机变量不确定性的度量，不确定性越大，熵值越大，若随机变量退化成定值，熵为0，均匀分布是最不确定的分布。熵其实定义了一个函数(概率分布函数)到一个值(信息熵)的映射。熵的定义公式如下：

在经典熵的定义中，底数是2，此时熵的单位是bit，若底数是e，则熵的单位是nat(奈特)

联合熵以及条件熵

两个随机变量X, Y的联合分布，可以形成联合熵Joint Entropy，用H(X,Y)表示，那么我们不禁要问：H(X,Y) - H(Y)代表什么呢？

事实上，(X,Y)发生所包含的熵，减去Y单独发生包含的熵，在Y发生的前提下，X发生的新带来的熵。于是有了条件熵：H(X|Y)的定义：

下面是条件熵的推导公式：

相对熵

又称为互熵，交叉熵，鉴别信息，KL散度，假设p(x), q(x)是X中取值的两个概率分布，则p对q的相对熵是：

对于相对熵，可以度量两个随机变量的距离，一般的p对q的相对熵和q对p的相对熵不相等。

对于已知的随机变量p，要使得相对简单的随机变量q，尽量接近p，那么我们可以采用相对熵进行求解：

假定使用KL(Q||P)，为了让距离最小，则要求在P为0的地方，Q尽量为0。会得到比较“窄”的分布曲线；
假定使用KL(P||Q)，为了让距离最小，则要求在P不为0的地方，Q也尽量不为0。会得到比较“宽”的分布曲线；

互信息

两个随机变量X，Y的互信息，定义为X，Y的联合分布和独立分布乘积的相对熵。

对于互信息，我们可以有如下的推导公式：（公式中倒数几行缺少负号）

熵，条件熵，相对熵，互信息的相关定义及公式推导相关推荐

自信息/熵/联合熵/条件熵/相对熵/交叉熵/互信息及其相互之间的关系
[深度学习基础]:信息论(一)_自信息/熵/联合熵/条件熵/相对熵/交叉熵/互信息及其相互之间的关系_bqw的博客-CSDN博客详解机器学习中的熵.条件熵.相对熵和交叉熵 - 遍地胡说 - 博客园
【知识建设】信息熵、条件熵、互信息、交叉熵及相对熵（KL散度）
一.信息熵 1. 定义衡量一个随机变量 X X X的信息量,用 H H H表示根据这个定义,这应该是个不确定的值(随机变量是变化的),而数学上使用期望来将这种不确定性量化: H = ∑ x ∈ X ...
信息熵、相对熵（KL散度）、交叉熵、条件熵、互信息、联合熵
信息熵信息量和信息熵的概念最早是出现在通信理论中的,其概念最早是由信息论鼻祖香农在其经典著作<A Mathematical Theory of Communication>中提出的.如今 ...
关于信息论中熵、相对熵、条件熵、互信息、典型集的一些思考
1. 绪论 0x1:信息论与其他学科之间的关系信息论在统计物理(热力学).计算机科学(科尔莫戈罗夫复杂度或算法复杂度).统计推断(奥卡姆剃刀,最简洁的解释最佳)以及概率和统计(关于最优化假设检验与估 ...
关于信息论中熵、相对熵、、条件熵、互信息、典型集的一些思考
1. 绪论 0x1:信息论与其他学科之间的关系信息论在统计物理(热力学).计算机科学(科尔莫戈罗夫复杂度或算法复杂度).统计推断(奥卡姆剃刀,最简洁的解释最佳)以及概率和统计(关于最优化假设检验与估 ...
联合熵、条件熵、互信息、相对熵、交叉熵的详解
本篇博客,我们将介绍联合熵.条件熵.互信息.相对熵.交叉熵,如果对熵的概念还有不清楚的朋友,可以看一下这一篇博客,信息熵是什么呢? https://blog.csdn.net/ding_program ...
熵、联合熵、相对熵、交叉熵、JS散度、互信息、条件熵
封面镇楼目录一.熵二.联合熵三.相对熵(KL散度) 四.交叉熵五.JS散度六.互信息七.条件熵八.总结一.熵对于离散型随机变量,当它服从均匀分布时,熵有极大值.取某一个值的概率为1 ...
通俗易懂——信息熵，条件熵，互信息和相对熵
文章目录 1 信息熵 2 条件熵 3 互信息 4 相对熵(KL散度) 5 交叉熵 1948年,香农在著名的论文"通信的数学原理"中首次提出了熵(Entropy)的概念,这也解决 ...
熵、联和熵与条件熵、交叉熵与相对熵是什么呢？来这里有详细解读！
熵是一个很常见的名词,在物理上有重要的评估意义,自然语言处理的预备知识中,熵作为信息论的基本和重点知识,在这里我来记录一下学习的总结,并以此与大家分享. 信息论基本知识 1.熵 2.联和熵与条件熵 3 ...

熵，条件熵，相对熵，互信息的相关定义及公式推导

熵

联合熵以及条件熵

相对熵

互信息

熵，条件熵，相对熵，互信息的相关定义及公式推导相关推荐

最新文章

热门文章