K-L散度（相对熵）的理解

信息量III
消息中有意义的内容成为信息。信息量函数：I=−lnpiI=-lnp_iI=−lnpi其中，pip_ipi是事件xix_ixi的发生概率。

信息熵HHH
它是用来对信息度量，描述信息的多于少的问题。公式为H=−∑i=1Np(xi)⋅logp(xi)H=-\sum_{i=1}^{N}p(x_i)\cdot log\ p(x_i)H=−i=1∑Np(xi)⋅log p(xi)log对数的底数没有明确，可以是2、e、或10，一般为2。如果我们使用以2为底的对数计算H值的话，可以把这个值看作是编码信息所需要的最少二进制位个数bits。注意：这个公式和上面信息量的公式，再和求期望的公式联系起来。这个信息熵的公式实质就是信息量的期望。
通过计算信息熵可以判断数据编码方式的优劣。

K-L散度
K-L散度，是一种量化两种概率分布P和Q之间差异的方式，又叫相对熵。在概率学和统计学上，我们经常会使用一种更简单的、近似的分布来替代观察数据或太复杂的分布。K-L散度能帮助我们度量使用一个分布来近似另一个分布时所损失的信息。

K-L散度的公式是通过修改熵HHH所得到的。
设p为观察得到的概率分布，q为另一分布来近似p，则p、q的K-L散度为：DKL(p∣∣q)=∑i=1Np(xi)⋅(logp(xi)−logq(xi))D_{KL}(p||q)=\sum_{i=1}^{N}p(x_i)\cdot(log\ p(x_i)-log\ q(x_i))DKL(p∣∣q)=i=1∑Np(xi)⋅(log p(xi)−log q(xi))从上面公式可以知道，K-L散度其实是数据的原始分布p和近似分布q之间的对数差值的期望。

这样我们就可以将K-L散度作为

K-L散度（相对熵）的理解相关推荐

信息量-log2P(莫斯编码使用频繁P大的字符编码段信息量少)、信息熵：期望E=-Plog2P、两点分布交叉熵=KL散度=相对熵=-plnp-(1-p)ln(1-p)不对称、JS散度对称
信息熵为什么要定义成-Σp*log§? 信息熵为什么要定义成-Σp*log(p)? 在解释信息熵之前,需要先来说说什么是信息量. 信息量是对信息的度量,单位一般用bit. 信息论之父克劳德·艾尔伍德· ...
ACM-ICPC 2018 焦作赛区网络预赛（A B E F G H I K L）
ACM-ICPC 2018 焦作赛区网络预赛(A B E F G H I K L) 发了博客一万年之后才发现H1写错了(tao A. Magic Mirror 题目链接题面: Jessie has ...
2021/10/24 2021ICPC江西省赛部分个人题解 A,B,H,K,L,J
K Many Littles Make a Mickle 题目大意:有t组输入,每组输入一个n,一个m,表示有n层,第i层有i*i个房间,每个房间有m个人,求有多少人. 题解:数据小,暴力求和即可(也 ...
梯度的直观理解_关于梯度、旋度和散度的直观理解
关于梯度.旋度和散度的直观理解散度为零,说明是无源场:散度不为零时,则说明是有源场(有正源或负源) 若你的场是一个流速场,则该场的散度是该流体在某一点单位时间流出单位体积的净流量. 如果在某点,某场 ...
“亚信科技杯”南邮第七届大学生程序设计竞赛之网络预赛 (K L题解)
"亚信科技杯"南邮第七届大学生程序设计竞赛之网络预赛 (K L题解) 第一次出题,果然背锅了,L题由于数据问题,让两种不对的方法ac了,分别是:H<0时取前一天送上花(应该是 ...
Macbook pro笔记本键盘失灵了(u,i,o,j,k,l,k,m无效了)解决办法
今天在使用Macbook pro时,突然发现键盘失灵了,(u,i,o,j,k,l,k,m无效了),经过寻找一阵资料发现,原来是开启了鼠标键. 解决方法如下: 在辅助功能-鼠标与触摸板-启用鼠标键,关掉 ...
虚拟机上装oracle，cmd窗口输入法有问题，按了U,I,O,P,J,K,L,M这些键为什么不是UIOPJK
虚拟机上装oracle,cmd窗口输入法有问题请电脑大神来看看我的输入法输入问题,按了U,I,O,P,J,K,L,M这些键为什么不是UIOPJK 这个是某些笔记本的设定, 楼主只要在你的键盘上找 ...
如果令 A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 分别等于
如果令 A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 分别等于 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 ...
ERROR 220624 --- [ntainer#2-2-C-1] o.s.k.l.KafkaMessageListenerContainer : Failed to set initial
完整报错: org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the positio ...
c语言老人与海英文单词汇总,【March·翻译】老人与海（1）单词卡coil [kɔɪl
该楼层疑似违规已被系统折叠隐藏此楼查看此楼 [March·翻译]老人与海(1) 单词卡 coil [kɔɪl] vt.盘绕 furl [fɜ:l] v.卷收 patch [pætʃ] vt.修补 b ...

K-L散度（相对熵）的理解

K-L散度（相对熵）的理解相关推荐

最新文章

热门文章