KL散度的含义与性质

在概率论或信息论中，KL散度( Kullback–Leibler divergence)，又称相对熵（relative entropy)，是描述两个概率分布P和Q差异的一种方法。它是非对称的，这意味着D(P||Q) ≠ D(Q||P)。特别的，在信息论中，D(P||Q)表示当用概率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布。有人将KL散度称为KL距离，但事实上，KL散度并不满足距离的概念，应为:1）KL散度不是对称的；2）KL散度不满足三角不等式。对一个离散随机变量或连续的随机变量的两个概率分布P和Q来说，KL散度的定义分别如下所示。

KL散度在信息论中有自己明确的物理意义，它是用来度量使用基于Q分布的编码来编码来自P分布的样本平均所需的额外的Bit个数。而其在机器学习领域的物理意义则是用来度量两个函数的相似程度或者相近程度，在泛函分析中也被频繁地用到[2]。在香农信息论中，用基于P的编码去编码来自P的样本，其最优编码平均所需要的比特个数（即这个字符集的熵）为：

用基于P的编码去编码来自Q的样本，则所需要的比特个数变为：

于是，我们即可得出P与Q的KL散度

可以利用Jensen不等式证明P与Q之间的KL散度不小于0：

参考资料：[1] KL散度的解释，https://baike.so.com/doc/4949446-5170752.html.

[2] KL散度与Jensen不等式的理解,https://zhuanlan.zhihu.com/p/28249050.

KL散度的含义与性质相关推荐

kl散度学习笔记python实现
KL Divergence KL( Kullback–Leibler) Divergence中文译作KL散度,从信息论角度来讲,这个指标就是信息增益(Information Gain)或相对熵(Rel ...
关于信息熵，KL散度，交叉熵，一文读懂（bushi)。
也是看其他大佬的说法.比如这个信息熵是什么? - 知乎大家都知道 ,对于一个概率分布,信息熵的公式是: 表示发生的概率. 定义公式我就不再赘述,已经有很多了.确实和我们的印象比较符合,一件事概率越 ...
统计学习方法--KL散度的定义和狄利克雷分布的性质
与公众号同步更新,详细内容及相关ipynb文件在公众号中,公众号:AI入门小白文章目录 KL散度的定义狄利克雷分布的性质 KL散度的定义 KL散度是描述两个概率分布Q(x)Q(x)Q(x)和P(x ...
机器学习基础——香农熵、相对熵（KL散度）与交叉熵
1. 香农熵(Shannon entropy) 信息熵(又叫香农熵)反映了一个系统的无序化(有序化)程度,一个系统越有序,信息熵就越低,反之就越高. 如果一个随机变量 X 的可能取值为 X={x1,x ...
KL距离，Kullback-Leibler Divergence 浅谈KL散度
KL距离,是Kullback-Leibler差异(Kullback-Leibler Divergence)的简称,也叫做相对熵(Relative Entropy).它衡量的是相同事件空间里的两个概率分 ...
AI入门：通俗讲解熵、交叉熵和 KL 散度
全文共 4351 字,23 幅图, 预计阅读时间 22 分钟. 本文被以下三份资料所启发,纯纯的致敬! [Christopher Colah] - Visual Information Theory ...
两个多元正态分布的KL散度、巴氏距离和W距离
©PaperWeekly 原创 · 作者 | 苏剑林单位 | 追一科技研究方向 | NLP.神经网络正态分布是最常见的连续型概率分布之一.它是给定均值和协方差后的最大熵分布(参考<&quo ...
【Pytorch神经网络理论篇】 21 信息熵与互信息：联合熵+条件熵+交叉熵+相对熵/KL散度/信息散度+JS散度
1 信息熵熵 (Entropy),信息熵:常被用来作为一个系统的信息含量的量化指标,从而可以进一步用来作为系统方程优化的目标或者参数选择的判据. 1.1 信息熵的性质单调性,发生概率越高的事件,其 ...
相对熵与交叉熵_熵、KL散度、交叉熵
公众号关注 "ML_NLP"设为 "星标",重磅干货,第一时间送达! 机器学习算法与自然语言处理出品 @公众号原创专栏作者思婕的便携席梦思单位 | 哈工大S ...

KL散度的含义与性质

KL散度的含义与性质相关推荐

最新文章

热门文章