KL divergence JS divergence F divergence

KL散度：
衡量两个概率分布之间差异的指标
又称kl距离，相对熵

D ( P ∥ Q ) = ∑ P ( x ) log ⁡ P ( x ) Q ( x ) \mathrm{D}(\mathrm{P} \| \mathrm{Q})=\sum P(x) \log \frac{P(x)}{Q(x)} D(P∥Q)=∑P(x)logQ(x)P(x)
当P(X) 和Q(X)的相似度概率越高， KL越小

KL散度主要有两个性质
(1)不对称性
尽管KL散度从直观上是个度量或距离函数，但它并不是一个真正的度量或者距离，因为它不具有对称性，即D(P||Q)!=D(Q||P)。

(2)非负性
相对熵的值是非负值，即
D(P||Q)>0

2.JS divergence
JS散度也称JS距离，是KL散度的一种变形。

J S ( P ∥ Q ) = 1 2 K L ( P ( x ) ∥ P ( x ) + Q ( x ) 2 + 1 2 K L ( Q ( x ) ∥ P ( x ) + Q ( x ) 2 ) J S(P \| Q)=\frac{1}{2} K L\left(P(x)\left\|\frac{P(x)+Q(x)}{2}+\frac{1}{2} K L\left(Q(x) \| \frac{P(x)+Q(x)}{2}\right)\right.\right. JS(P∥Q)=21KL(P(x)∥∥∥∥2P(x)+Q(x)+21KL(Q(x)∥2P(x)+Q(x))
但是不同于KL主要又两方面：

（1）值域范围

JS散度的值域范围是[0,1]，相同则是0，相反为1。相较于KL，对相似度的判别更确切了。

（2）对称性

即 JS(P||Q)=JS(Q||P)，从数学表达式中就可以看出。

3.f divergence
在概率统计中，f散度是一个函数，这个函数用来衡量两个概率密度p和q的区别，也就是衡量这两个分布多么的相同或者不同。

p和q是同一个空间中的两个概率密度函数，它们之间的f散度可以用如下方程表示：

D f ( p ∥ q ) = ∫ q ( x ) f ( p ( x ) q ( x ) ) d x D_{f}(p \| q)=\int q(x) f\left(\frac{p(x)}{q(x)}\right) d x Df(p∥q)=∫q(x)f(q(x)p(x))dx

KL divergence JS divergence F divergence相关推荐

KL divergence,JS divergence,Wasserstein distance是什么
文章目录前言 KL divergence JS divergence Wasserstein distance 总结前言这三个东西都可以用来两个分布的差异.其中三最难,其本身是来自另外的领域,如 ...
相对熵/KL散度（Kullback–Leibler divergence，KLD）
相对熵(relative entropy)又称为KL散度(Kullback–Leibler divergence,简称KLD),信息散度(information divergence),信息增益(in ...
KL，JS，Wasserstein距离
最近在学GAN和WGAN,遇到了KL散度,JS散度,Wasserstein距离(又叫EM距离)三个衡量概率分布相似度的度量方法.虽然之前也有接触KL,但是为了以后查找方便,还是决定做个记录总结. 本博 ...
KL Divergence 与 JS Divergence
1. 统计距离 (Statistical Distance) 很多时候我们需要对比两个概率分布: 我们有一个随机变量和它的两个不同的概率分布 (P 与 Q), 比如一个真实的分布和一个模型估计的分布. ...
Julia常用包简介
第三方开发的Julia库(包),是Julia生态中极为重要的一部分.Julia包虽然目前没有Python那样丰富,但却极为快速地发展着.官方提供了包数量的统计趋势,见下图所示: 图D-1 Julia包 ...
KL Divergence KL散度
在概率论或信息论中,KL散度( Kullback–Leibler divergence),又称相对熵(relative entropy),是描述两个概率分布P和Q差异的一种方法.它是非对称的,这意味着 ...
【GANs学习笔记】（六）JS Divergence不是最好的Divergence
完整笔记:http://www.gwylab.com/note-gans.html ----------------------- 3. JS divergence不是最佳的divergence 在第 ...
KL距离，Kullback-Leibler Divergence 浅谈KL散度
KL距离,是Kullback-Leibler差异(Kullback-Leibler Divergence)的简称,也叫做相对熵(Relative Entropy).它衡量的是相同事件空间里的两个概率分 ...
Kullback-Leibler Divergence
http://alpopkes.com/files/kl_divergence.pdf Kullback-Leibler 散度定义: Kullback-Leibler 散度用于度量两个分布的相似性( ...

KL divergence JS divergence F divergence

KL divergence JS divergence F divergence相关推荐

最新文章

热门文章