关于相对熵（KL距离）的理解

定义：两个概率质量函数为 p(x) 和 q(x) 之间的相对熵或KL距离定义为

D(p||q)=∑x∈χp(x)logp(x)q(x)

理解

如果已知随机变量的真实分布为 p ，可以构造平均描述长度为 H(p) 的码，但是，如果使用针对分布 q 的编码，那么平均意义上就需要 ∑x∈χp(x)log1q(x) （记作 H(p||q) ）比特来描述这个随机变量。那么可以这样定义 D(p||h)

D(p||q)=H(p||q)−H(p)=∑x∈χp(x)log1q(x)−∑p(x)log1p(x)=∑x∈χp(x)logp(x)q(x)

总结就是，使用由 q 构造的编码将会在平均意义上比最优编码（由真实分布 p 构造的编码）长 D(p||q) 比特。

作业部落版本

https://www.zybuluo.com/a335031/note/43211

关于相对熵（KL距离）的理解相关推荐

kl距离 java_信息量、熵、最大熵、联合熵、条件熵、相对熵、互信息。
一直就对机器学习中各种XX熵的概念比较模糊,现在总结一下自己的学习心得. 信息量先说一下信息量的概念,其实熵就是信息量的集合. 摘抄个例子: 英文有26个字母,假设每个字母出现的概率是一样的,每个字 ...
Kullback–Leibler divergence(相对熵，KL距离，KL散度)
1 前言注意两个名词的区别: 相对熵:Kullback–Leibler divergence 交叉熵:cross entropy KL距离的几个用途: ① 衡量两个概率分布的差异. ② 衡量利用概率 ...
ML：图像数据、字符串数据等计算相似度常用的十种方法(余弦相似性、皮尔逊、闵可夫斯基距离/曼哈顿距离/欧氏距离/切比雪夫距离、马氏距离、汉明距离、编辑距离、杰卡德相似系数、相对熵/KL散度、Helli
ML:图像数据.字符串数据等计算相似度常用的十种方法(余弦相似性.皮尔逊.闵可夫斯基距离/曼哈顿距离/欧氏距离/切比雪夫距离.马氏距离.汉明距离.编辑距离.杰卡德相似系数.相对熵/KL散度.Helli ...
相对熵（relative entropy或 Kullback-Leibler divergence,KL距离）的java实现（三）
代码下载 http://files.cnblogs.com/finallyliuyu/KL.rar 主函数代码主函数代码 public static void main(String[] args) ...
一点对 KL 散度的理解
在深度学习中经常用到的一个概念是 KL散度.之前对KL散度进行过一次理解,但后来随着利用次数的减少,开始忘却其具体的定义与物理意义,仅在印象中记得是"描述两个分布的相似度的度量". ...
kl距离 java_KL距离，Kullback-Leibler Divergence
http://www.cnblogs.com/ywl925/p/3554502.html http://www.cnblogs.com/hxsyl/p/4910218.html http://blog ...
KL距离，Kullback-Leibler Divergence 浅谈KL散度
KL距离,是Kullback-Leibler差异(Kullback-Leibler Divergence)的简称,也叫做相对熵(Relative Entropy).它衡量的是相同事件空间里的两个概率分 ...
信息论中的香农熵、条件熵、最大熵、相对熵、交叉熵理解
目录信息论基础信息熵.香农熵最大熵定理条件熵信息增益信息增益与决策树算法相对熵与GAN算法相对熵相对熵的致命问题交叉熵结束语信息论基础前几天朋友问我决策树中的香农熵公式来源的 ...
【Pytorch神经网络理论篇】 21 信息熵与互信息：联合熵+条件熵+交叉熵+相对熵/KL散度/信息散度+JS散度
1 信息熵熵 (Entropy),信息熵:常被用来作为一个系统的信息含量的量化指标,从而可以进一步用来作为系统方程优化的目标或者参数选择的判据. 1.1 信息熵的性质单调性,发生概率越高的事件,其 ...

关于相对熵（KL距离）的理解

理解

作业部落版本

关于相对熵（KL距离）的理解相关推荐

最新文章

热门文章