基于卷积网络的度量学习

标签：距离度量度量学习卷积网络分类KNN

2017-01-01 13:14 217人阅读评论(0)收藏举报

分类：

machine learning（15）

algorithm（6）

目录(?)[+]

距离度量

度量是指在集合X上的一个函数，即距离函数[1-2]，

对所有的，需要满足下列条件：

（1）非负性（正定性）：

（2）同一性：

（3）对称性：

（4）三角不等式：

一些距离度量函数

在机器学习中，我们经常用到一些非学习（静态）距离度量函数，如下:

1. 欧氏距离

　　2. 曼哈顿距离

　　3. 切比雪夫距离

　　4. 闵可夫斯基距离

　　5. 标准化欧氏距离

　　6. 马氏距离

　　7. 汉明距离

　　8. 杰卡德距离 & 杰卡德相似系数

　　9. 相关系数 & 相关距离

　　10. 信息熵

在相似性度量中用到的一些距离函数中列举了这些距离度量函数的公式，这里不再重写。

度量学习

度量学习或距离度量学习，即是学习在集合上的距离度量函数[3]。在实际的应用中从特征空间中学习一个好的距离度量是至关重要的，在计算机视觉中，如图像分类，图像检索一个好的距离度量是非常重要的。度量学习也分为监督度量学习和无监督度量学习，监督度量学习和一般分类的监督学习在数据使用上的不同是，一般分类使用成对的输入和标签: (X,Y)，度量学习使用的是成对的输入（X1,X2）,下面定义度量学习的数据，度量，约束，代价：

令 $C=\{x_{1},x_{2},...,x_{n}\}$ 为数据集，n为第n个数据，其中每个数据都是m维的。

相同类别集合： $S=\{(x_{i},x_{j})| x_{i},x_{j} \ from\ the \ same \ class\}$

不同类别集合： $D=\{(x_{i},x_{j})| x_{i},x_{j} \ from\ the \ different \ class\}$

令度量矩阵为 $A\in R^{m\times m}$ ，任意两个点的距离可以表示为（Mahalanobis Distance）：

$d_{A}^{2}(x,y)=\|x-y\|_{A}^{2}=(x-y)^{T}A(x-y)$

也就是任意两点间的距离是依度量矩阵而定的，度量矩阵起到的作用就是将数据从原始空间映射到特定特征空间，类似于PCA,其不同在于度量矩阵一般通过机器的学习而得，而PCA主要是人为的定特征映射。

由上，度量学习可以形式化为下列凸规划问题：

$min_{A\in R^{m\times m}}\sum_{(x_{i},x_{j} \in S)} \|x_{i}-{x_{j}}\| _{A}^{2}$

$s.t. \ A\succeq 0 \ ,\ \ \sum_{(x_{i},x_{j} \in D)} \|x_{i}-{x_{j}}\| _{A}^{2}\geq 1$

通过该规划求解度量矩阵。这里只是简单介绍全局距离度量，其他详细参考[4-5]。

卷积网络的度量学习

由上，度量矩阵 $A$ 可以表示为 $f(A)$ 当 $f(x)=x$ 时， $f(A)=A$ 。所以我们可以将度量推广为函数形式： $f(x):R^{m}\rightarrow R^{n}$ 。这时任意两点的距离可以表示为：

$d^2_{f(x)}(x,y)=\left \| f(x)-f(y) \right \|^2_2$

将 $f(x)$ 用卷积网络 $f_{w}(x)$ 表示,w为卷积网络的参数，这时我们需要学习的就是卷积网络的参数了。此时凸规划问题变为：

$min\ \sum_{(x_i,x_j\in S)}\left \| f_w(x_i)-f_w(x_j) \right \|^2_2$

$s.t.\ \ f_w(x):R^m\rightarrow R^n,\ \sum_{(x_i,x_j\in D)}\left \| f_w(x_i)-f_w(x_j) \right \|^2_2\geq 1$

由上求卷积网络的参数：

$\theta^{*}=argmin_{\theta}\ \sum_{(x_i,x_j\in S)}\left \| f_w(x_i)-f_w(x_j) \right \|^2_2$

深度度量学习，参考[6-8]

问题

我们是否能学习到图像完备的特征表示，即基于全局和局部特征的完备特征？

能否用局部特征合成全局特征，这样就只需要学习局部特征了？

参考：

1. Metric (mathematics)

2. Walter Rudin. 泛函分析

3. Similarity learning

4. Distance Metric Learning:A Comprehensive Survey

5. Metric Learning Tutorial

6. Discriminative Deep Metric Learning for Face Verification in the Wild

7. Deep metric learning using Triplet network

8. Deep Metric Learning for Practical Person Re-Identification