关于信息熵，KL散度，交叉熵，一文读懂（bushi)。

也是看其他大佬的说法。比如这个信息熵是什么？ - 知乎

大家都知道，对于一个概率分布，信息熵的公式是：

$p(x_{_{i}})$ 表示 $x_{i}$ 发生的概率。定义公式我就不再赘述，已经有很多了。确实和我们的印象比较符合，一件事概率越大，他发生了，信息量就越小。太阳天天东边升，一点也不吃惊。太阳哪天从西边来了，说明人类换了东西的叫法。

我们来看一个例子。现在有一条公路，四家公司A,B,C,D负责这条公路的打扫和维护。A来的早，他从里面先选了二分之一。B来了，他占了四分之一，C来了，再选八分之一,D来了，只剩八分之一了。（请记下下图颜色代表的字母。）

问题在于什么呢？在于我不知道这些公司是负责的哪一段。那现在我想知道，咋办，就需要信息了。请注意下面的信息都是二分信息。就是信息只有正反两面。

第一条信息： A在左边。一条信息就知道A在哪了。

第二条信息： B选了右边。需要 1,2才知道B在哪。

第三条信息：C选了左边。需要1,2,3知道了C，D。

在上面这条直线上，需要1条信息能够确定的部分是二分之一。

需要两条信息能够确定的部分是四分之一

需要三条信息才能够确定的部分是两个八分之一

就得到了得到总状态需要的信息数：

我们再看信息熵的公式。

$H = \frac{1}{2}\log (2) + \frac{1}{4}\log (4) + \frac{1}{8}\log (8)+ \frac{1}{8}\log (8)$

注意： $-p\log p = p\log \frac{1}{p}$

在信息熵公式里， log是以2 为底的，所以得到了信息熵大小算出来就是 $\frac{7}{4}$ .和确定总状态需要的信息数一模一样。

所以其实我们就知道了。信息熵，就是想要确定整个状态的信息需要的总信息数。

信息熵的单位是比特，可以扩展联想成需要几个比特位的0/1 。实际上也确实如此，log是以二为底的，所以信息也必须都是二分的信息，只有正反两面，这样算出来才符合结果，这也是为什么A必须左右选一边而不能选中间的二分之一，因为这时候信息就不是二分的信息了。

然后来了一个东西叫做KL散度。KL散度的定义是什么，看百科： KL散度是两个几率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、估计的模型分布、或P的近似分布。看到比特数差这个概念时，我一瞬间就想到了好多。

再来看公式：

后面我们都知道 Px的信息熵嘛。

前面的我们怎么理解呢？首先我们要明确的概念是 P分布的信息熵，就是P分布下编码需要的最小的比特数。我们看上面的例子会发现，占据最多的A，二分之一，她需要的信息数是最少的。也只有这样，让占地最多（概率最大）的需要的信息越少，才能得到最小的信息熵。所以用其他的分布来衡量P ，需要的比特数势必要上升。

比如现在Q的分布是这样的，就是A,B的分布变了。

Q1:

先代入公式

$H = \frac{1}{4}\log (2) + \frac{1}{2}\log (4) + \frac{1}{8}\log (8)+ \frac{1}{8}\log (8) = 2$

注意第一项A这里， log下面是Q中A的概率是四分之一但是log上面依然是P中A的概率的倒数，是二分之一的倒数。这就是用Q分布来表示P分布的样本需要的信息量大小。是2比特。也就是交叉熵。

用信息的说法呢？也是一样的。这里依然是用的P的概率分布，也就是找A要1条信息，B2条,C，D3条。

但是是在Q的分布来衡量的，在Q中B占据了二分之一，也就是需要两条信息的部分变成了二分之一。需要一条信息的部分变成了四分之一。

共需要的信息就变成了：

$\frac{1}{2}2+ \frac{1}{4}1+ \frac{1}{8}3+\frac{1}{8}3 = 2$

所以P,Q的交叉熵就是2。

如果Q是下面的分布呢？

Q2:

就是 $\frac{1}{2}3+ \frac{1}{4}2+ \frac{1}{8}1+\frac{1}{8}3 =2.5$

可以看到 Q2这个图比起上图Q1来说，Q的分布和P差的要更远一点。A都变最短了，所以他的交叉熵也要大一点。

上面懂了之后，KL散度就是临门一脚。用交叉熵减去P的信息熵，就是KL散度。含义就是用Q分布来度量P需要的比特数减去P自己度量自己需要的比特数。对于Q1的例子 KL散度就是2-1.75 = 0.25 对于Q2的例子 KL散度就是2.5-1.75 = 0.75。所以我们也可以发现KL散度的实际意义，KL散度差的越多，表示Q分布和P分布差的越远。KL散度越小，两个分布就越近。

所以，

KL 散度 = Q表示分布需要信息数 - P自己表示分布需要信息数

关于信息熵，KL散度，交叉熵，一文读懂（bushi)。相关推荐

【深度学习】一文读懂机器学习常用损失函数（Loss Function）
[深度学习]一文读懂机器学习常用损失函数(Loss Function) 最近太忙已经好久没有写博客了,今天整理分享一篇关于损失函数的文章吧,以前对损失函数的理解不够深入,没有真正理解每个损失函数的特点 ...
一文读懂BERT(原理篇)
一文读懂BERT(原理篇) 2018年的10月11日,Google发布的论文<Pre-training of Deep Bidirectional Transformers for Langua ...
一文读懂EfficientDet
一文读懂EfficientDet. 今年年初Google Brain团队在 CVPR 2020 上发布了 EfficientDet目标检测模型, EfficientDet是一系列可扩展的高效的目标检测 ...
一文读懂你该了解的5G知识：现在别买5G手机
来源: 腾讯科技 2019年是中国全力布局5G的一年:三大运营商纷纷搭建基站,手机厂商发布5G手机,部分城市已经开启了5G测试--在电信日这天,腾讯科技联合知乎推出重磅策划,聚焦和5G相关的小知识,精 ...
| 一文读懂迁移学习（附学习工具包）
当一个CNN用于另一个领域,就使用到了迁移学习.迁移学习是一种用于模型领域泛化和扩展的工具. 文章链接:独家 | 一文读懂迁移学习(附学习工具包) 参考:当深度学习成为过去,迁移学习才是真正的未来? ...
你真的懂数据分析吗？一文读懂数据分析的流程、基本方法和实践
导读:无论你的工作内容是什么,掌握一定的数据分析能力,都可以帮你更好的认识世界,更好的提升工作效率.数据分析除了包含传统意义上的统计分析之外,也包含寻找有效特征.进行机器学习建模的过程,以及探索数据价 ...
一文读懂DEFI借贷以及清算的含义
目录什么是DEFI 什么是DEFI借贷 DeFi借贷步骤借贷产品的分类被清算的三箭资本什么是DEFI DeFi 是 Decentralized Finance 的简称,即去中心化金融,是由区块 ...
从实验室走向大众，一文读懂Nanopore测序技术的发展及应用
关键词/Nanopore测序技术文/基因慧随着基因测序技术不断突破,二代测序的发展也将基因检测成本大幅降低.理想的测序方法,是对原始DNA模板进行直接.准确的测序,消除PCR扩增带来的偏差, ...
一文读懂Faster RCNN
来源:信息网络工程研究中心本文约7500字,建议阅读10+分钟本文从四个切入点为你介绍Faster R-CNN网络. 经过R-CNN和Fast RCNN的积淀,Ross B. Girshick在20 ...

关于信息熵，KL散度，交叉熵，一文读懂（bushi)。

关于信息熵，KL散度，交叉熵，一文读懂（bushi)。相关推荐

最新文章

热门文章

关于信息熵 ，KL散度，交叉熵，一文读懂（bushi)。

关于信息熵 ，KL散度，交叉熵，一文读懂（bushi)。相关推荐

最新文章

热门文章

关于信息熵，KL散度，交叉熵，一文读懂（bushi)。

关于信息熵，KL散度，交叉熵，一文读懂（bushi)。相关推荐