F-散度(F-divergence)

在概率统计中，f散度是一个函数，这个函数用来衡量两个概率密度p和q的区别，也就是衡量这两个分布多么的相同或者不同。

1.f散度的定义

p和q是同一个空间中的两个概率密度函数，它们之间的f散度可以用如下方程表示：

f函数满足两个条件：f函数是一个凸函数，并且f(1)=0。

2.f散度的特例

如果f(x)=xlogx，那就是KL散度。如果是f(x)=-logx，那就表示reverse KL散度。

3.f散度的非负性

因为f是凸函数，E(f(x))>=f(E(x))，所以

这就是为什么需要上面提到的满足的两个条件。

参考：https://en.wikipedia.org/wiki/F-divergence

F-散度(F-divergence)相关推荐

【Pytorch神经网络理论篇】 24 神经网络中散度的应用：F散度+f-GAN的实现+互信息神经估计+GAN模型训练技巧
1 散度在无监督学习中的应用在神经网络的损失计算中,最大化和最小化两个数据分布间散度的方法,已经成为无监督模型中有效的训练方法之一. 在无监督模型训练中,不但可以使用K散度JS散度,而且可以使用其他 ...
旋度定理(Curl Theorem)和散度定理(Divergence theorem)
旋度和散度基础首先说说格林公式(Green's theorem).对于一段封闭曲线,若其围城的区域D为单连通区域(内部任意曲线围城的区域都属于院区域),则有如下公式: 其中其中L为D的边界,取正方向 ...
对比散度contrastive divergence
CD是Hinton为了训练他的Product of Expert模型提出的,后来用于训练RBM. CD是最大似然法的近似算法,Contrastive Divergence (CD) is an app ...
R语言F分布函数F Distribution（df, pf, qf rf ）实战
R语言F分布函数F Distribution(df, pf, qf & rf )实战目录 R语言F分布函数F Distribution(df, pf, qf & rf )实战 #生成 ...
tail -f 和 -F 的用法
-f 是--follow[=HOW]的缩写, 可以一直读文件末尾的字符并打印出来. "[=HOW]"有两个写法,一个"=descriptor",另一个是&quo ...
python练习笔记——面试题 F(n) = F(n-1)+F(n-2)
已知:F(0) = 0, F(1) = 1, F(n) = F(n-1) + F(n-2) 其中(n≥2,n∈N*) 求:求10以内的函数值分别是多少方法一: def F(n):if n <= ...
mips语言实现 f(n) = f(n-1) + 2*f(n-2) + 3*f(n-3)
这是计算机组成的一个任务,原来拿别人的交了,现在补上! 首先,了解 f(n) = f(n-1) + 2*f(n-2) + 3*f(n-3) 的基本条件:f(0) = 0, f(1) = 1, f(2) ...
c语言利用fun求最小值,c语言：请编写函数fun(),他的功能是：求f(0)到f(50)的最小值,已知：f(0)=f(1)=1,f(2)=0,f...
#include #include int f(int n) { if (n == 0 || n == 1) { return 1; } if (n == 2) { return 0; } retur ...
鏡頭上的 F 與 f 之區別
http://zip.nvp.com.tw/forum.php?mod=viewthread&tid=603&extra=page%3D2 鏡頭上的 F 與 f 之區別: ‧ F 代表 ...
设f(x)=∑x^n/n^2,证明f(x)+f(1-x)+lnxln(1-x)=∑1/n^2
题目设 f ( x ) = ∑ n = 1 ∞ x n n 2 ,证明: f ( x ) + f ( 1 − x ) + ln ⁡ x ln ⁡ ( 1 − x ) = ∑ n = 1 ∞ 1 n ...

F-散度(F-divergence)

1.f散度的定义

2.f散度的特例

3.f散度的非负性

F-散度(F-divergence)相关推荐

最新文章

热门文章