Bregman Divergence

2024-04-24 22:06:08

Bregman Divergence

从squared Euclidean distance (SED)说起
Bregman divergences 性质
Bregman Divergence iff(当且仅当) The Mean is a Minimiser
参考文献

从squared Euclidean distance (SED)说起

给定两个n维点， x , y ∈ R n x,y \in R^n x,y∈Rn，两点之间的SED定义为：

接下来，我们引入一些notion，重新定义SED：
< x , y > : = ∑ i = 1 n x i y i <x,y>:=\sum_{i=1}^nx_iy_i <x,y>:=∑i=1nxiyi 表示x y两点之间的inner product
∣ ∣ x ∣ ∣ : = < x , x > ||x||:=\sqrt{<x,x>} ∣∣x∣∣:=<x,x>
于是，SED可以表示为：

我们令 f ( z ) = ∣ ∣ z ∣ ∣ 2 f(z)=||z||^2 f(z)=∣∣z∣∣2， f ( z ) f(z) f(z)在 y y y处的切线为 f ( z ) − ∣ ∣ y ∣ ∣ 2 = < 2 y , ( x − y ) > f(z)-||y||^2=<2y,(x-y)> f(z)−∣∣y∣∣2=<2y,(x−y)>，切线在 x x x处的值为 ∣ ∣ y ∣ ∣ 2 + < 2 y , ( x − y ) > ||y||^2+<2y,(x-y)> ∣∣y∣∣2+<2y,(x−y)>。于是， d 2 ( x , y ) d^2(x,y) d2(x,y)可以理解为蓝色的线的长度。

我们希望 d 2 ( x , y ) d^2(x,y) d2(x,y)是非负的。从几何角度看，这等同于函数 f f f始终在其切线上方。我们要求：

上式等同于函数 f f f是convex的。这说明，我们可以通过选择一个convex函数 f f f来定义一种距离度量 d f d_f df：

这种方式定义的距离度量就是Bregman divergences，并且函数 f f f的convexity属性保证了距离的非负性。

上图就是从几何角度理解KL-divergence。

Bregman divergences 性质

Bregman Divergence iff(当且仅当) The Mean is a Minimiser

定理：

解读：假设 d d d: R n ∗ R n − > R R^{n}*R^{n}->R Rn∗Rn−>R是一个连续非负的函数，满足对于所有 X ∈ R n X \in R^n X∈Rn, d ( x , x ) = 0 d(x,x)=0 d(x,x)=0 ，并且对于 1 < = i , j < = n 1<=i,j<=n 1<=i,j<=n， ∂ ∂ x i ∂ x j d ( x , y ) \frac{\partial}{\partial{x_i}\partial{x_j}}d(x,y) ∂xi∂xj∂d(x,y)连续。如果对于所有随机变量 X ∈ R n X \in R^n X∈Rn，期望 E [ X ] E[X] E[X]唯一最小化 y − > E [ d ( X , y ) ] y->E[d(X,y)] y−>E[d(X,y)]，那么一定存在严格凸和可微的函数 f : R n − > R f:R^n->R f:Rn−>R得到 d = d f d=d_f d=df。

即当且仅当期望 E [ X ] E[X] E[X]唯一最小化 y − > E [ d ( X , y ) ] y->E[d(X,y)] y−>E[d(X,y)]时， d d d是Bregman Divergence

参考文献

Meet the Bregman Divergences
Bregman 散度（Bregman divergence）和Bregman信息（Bregman information）

Bregman Divergence相关推荐

机器学习中的数学——距离定义（二十）：相对熵（Relative Entropy）/KL散度（Kullback-Leibler Divergence）
分类目录:<机器学习中的数学>总目录相关文章: · 距离定义:基础知识 · 距离定义(一):欧几里得距离(Euclidean Distance) · 距离定义(二):曼哈顿距离(Manh ...
机器学习奠基人Michael Jordan：下代技术是融合经济学，解读2项重要进展（含PPT）...
2019年11月1日北京智源大会全体大会及闭幕式上,被誉为"机器学习之父"的加州大学伯克利教授.智源研究院学术顾问委员会委员 Michael I.Jordan 做了题为<决策 ...
机器学习奠基人Michael Jordan：下代技术是融合经济学，解读2项重要进展
来源: 北京智源人工智能研究院 2019年11月1日北京智源大会全体大会及闭幕式上,被誉为"机器学习之父"的加州大学伯克利教授.智源研究院学术顾问委员会委员 Michael I.J ...
对抗训练-smart 论文阅读笔记
对抗训练-smart 论文阅读笔记 SMART: Robust and Efficient Fine-Tuning for Pre-trained NaturalLanguage Models thr ...
机器学习中的数学——距离定义（九）：测地距离（Geodesic Distance）
分类目录:<机器学习中的数学>总目录相关文章: · 距离定义:基础知识 · 距离定义(一):欧几里得距离(Euclidean Distance) · 距离定义(二):曼哈顿距离(Manh ...
机器学习中的数学——距离定义（十）：布雷柯蒂斯距离（Bray Curtis Distance）
分类目录:<机器学习中的数学>总目录相关文章: · 距离定义:基础知识 · 距离定义(一):欧几里得距离(Euclidean Distance) · 距离定义(二):曼哈顿距离(Manh ...
机器学习中的数学——距离定义（十三）：杰卡德距离（Jaccard Distance）和杰卡德相似系数（Jaccard Similarity Coefficient）
分类目录:<机器学习中的数学>总目录相关文章: · 距离定义:基础知识 · 距离定义(一):欧几里得距离(Euclidean Distance) · 距离定义(二):曼哈顿距离(Manh ...
【综述】NLP 对抗训练（FGM、PGD、FreeAT、YOPO、FreeLB、SMART）
在对抗训练中关键的是需要找到对抗样本,通常是对原始的输入添加一定的扰动来构造,然后放给模型训练,这样模型就有了识别对抗样本的能力.其中的关键技术在于如果构造扰动,使得模型在不同的攻击样本中均能够具备较 ...
机器学习中的数学——距离定义（七）：兰氏距离（Lance and Williams Distance）/堪培拉距离（Canberra Distance）
分类目录:<机器学习中的数学>总目录相关文章: · 距离定义:基础知识 · 距离定义(一):欧几里得距离(Euclidean Distance) · 距离定义(二):曼哈顿距离(Manh ...

最新文章

热门文章