笔记 -凸函数 /KL距离

1，凸函数和凸集合，

凸函数，例如 y=X^2, 定义为：

λ*f（x1）+（1-λ)*f（x2）>= f(λx1+（1-λ)x2)

凸集合：指在一个集合处，上面任意两点连线都在集合内。

性质：

对于一元函数f(x)，我们可以通过其二阶导数f′′(x) 的符号来判断。如果函数的二阶导数总是非负，即f′′(x)≥0 ，则f(x)是凸函数

　对于多元函数f(X)，我们可以通过其Hessian矩阵（Hessian矩阵是由多元函数的二阶导数组成的方阵）的正定性来判断。如果Hessian矩阵是半正定矩阵，则是f(X)凸函数、

2，KL距离

定义即 Kullback-Leibler Divergence，可翻译为相对熵，衡量事件空间里的两个概率分布的差异情况，所以可以用来做匹配的评价函数，

D(P∣∣Q)=x∈X∑P(x)logP(x)/Q(x) 即，具有如下性质：

当P(x)=Q(x)时，D(P||Q)=0,即其相对熵为零。
当P(x)和Q(x)相似度越高时，KL距离越小
D(P||Q)非负（非负性）
不满足对称性，即D(P||Q)≠D(Q||P)
不满足三角不等式

笔记 -凸函数 /KL距离相关推荐

kl距离 java_KL距离，Kullback-Leibler Divergence
http://www.cnblogs.com/ywl925/p/3554502.html http://www.cnblogs.com/hxsyl/p/4910218.html http://blog ...
KL距离，Kullback-Leibler Divergence 浅谈KL散度
KL距离,是Kullback-Leibler差异(Kullback-Leibler Divergence)的简称,也叫做相对熵(Relative Entropy).它衡量的是相同事件空间里的两个概率分 ...
kl距离 java_信息量、熵、最大熵、联合熵、条件熵、相对熵、互信息。
一直就对机器学习中各种XX熵的概念比较模糊,现在总结一下自己的学习心得. 信息量先说一下信息量的概念,其实熵就是信息量的集合. 摘抄个例子: 英文有26个字母,假设每个字母出现的概率是一样的,每个字 ...
相对熵（relative entropy或 Kullback-Leibler divergence,KL距离）的java实现（三）
代码下载 http://files.cnblogs.com/finallyliuyu/KL.rar 主函数代码主函数代码 public static void main(String[] args) ...
Kullback–Leibler divergence(相对熵，KL距离，KL散度)
1 前言注意两个名词的区别: 相对熵:Kullback–Leibler divergence 交叉熵:cross entropy KL距离的几个用途: ① 衡量两个概率分布的差异. ② 衡量利用概率 ...
关于相对熵（KL距离）的理解
定义:两个概率质量函数为 p(x) 和 q(x) 之间的相对熵或KL距离定义为 D(p||q)=∑x∈χp(x)logp(x)q(x) 理解如果已知随机变量的真实分布为 p ,可以构造平均描述长度为 ...
计算KL距离的几个例子
原理生成两个分布,并且生成它们的ksdensity, 和histogram, 最后计算ksdensity 和 histogram与真实分布的KL距离真实分布是用normpdf计算出来的 Kerne ...
信息论：信息熵+信息散度(交叉熵\kl距离)
信息散度(交叉熵\kl距离) 思考题:对于只用A,B,C,D四个单词写的信使用0和1进行编码的一个信息的平均编码长度?思考题:对于只用A,B,C,D四个单词写的信\\ 使用0和1进行编码的一个信息的平 ...
KL距离的计算与含义（转）
KL距离,是Kullback-Leibler差异(Kullback-Leibler Divergence)的简称,也叫做相对熵(Relative Entropy).它衡量的是相同事件空间里的两个概率分 ...
Matlab 显著性检测模型评价算法之KL距离
KL距离是用来计算两个概率分布函数的差异大小: h是ground thruth map,p是saliency map,当h和p完全相等时,KL值为0 现在一般用对称形式,即h和p换个位置,求个KL,两 ...

笔记 -凸函数 /KL距离

1，凸函数和凸集合，

2，KL距离

笔记 -凸函数 /KL距离相关推荐

最新文章

热门文章