度量学习(Metric Learning)

度量(Metric)的定义

在数学中,一个度量(或距离函数)是一个定义集合中元素之间距离的函数。一个具有度量的集合被称为度量空间。

1 为什么要用度量学习?

很多的算法越来越依赖于在输入空间给定的好的度量。例如K-means、K近邻方法、SVM等算法需要给定好的度量来反映数据间存在的一些重要关系。这一问题在无监督的方法(如聚类)中尤为明显。举一个实际的例子,考虑图1的问题,假设我们需要计算这些图像之间的相似度(或距离,下同)(例如用于聚类或近邻分类)。面临的一个基本的问题是如何获取图像之间的相似度,例如如果我们的目标是识别人脸,那么就需要构建一个距离函数去强化合适的特征(如发色,脸型等);而如果我们的目标是识别姿势,那么就需要构建一个捕获姿势相似度的距离函数。为了处理各种各样的特征相似度,我们可以在特定的任务通过选择合适的特征并手动构建距离函数。然而这种方法会需要很大的人工投入,也可能对数据的改变非常不鲁棒。度量学习作为一个理想的替代,可以根据不同的任务来自主学习出针对某个特定任务的度量距离函数。

图一

2、度量学习的方法

根据相关论文[2,3,4],度量学习方法可以分为通过线性变换的度量学习和度量学习的非线性模型。

2.1 通过线性变换的度量学习

由于线性度量学习具有简洁性和可扩展性(通过核方法可扩展为非线性度量方法),现今的研究重点放在了线性度量学习问题上。线性的度量学习问题也称为马氏度量学习问题,可以分为监督的和非监督的学习算法。

监督的马氏度量学习可以分为以下两种基本类型:

I 监督的全局度量学习:该类型的算法充分利用数据的标签信息。如

  • Information-theoretic metric learning(ITML)
  • Mahalanobis Metric Learning for Clustering([1]中的度量学习方法,有时也称为MMC)
  • Maximally Collapsing Metric Learning (MCML)

II 监督的局部度量学习:该类型的算法同时考虑数据的标签信息和数据点之间的几何关系。如

  • Neighbourhood Components Analysis (NCA)
  • Large-Margin Nearest Neighbors (LMNN)
  • Relevant Component Analysis(RCA)
  • Local Linear Discriminative Analysis(Local LDA)

此外,一些很经典的非监督线性降维算法可以看作属于非监督的马氏度量学习。如

  • 主成分分析(Pricipal Components Analysis, PCA)
  • 多维尺度变换(Multi-dimensional Scaling, MDS)
  • 非负矩阵分解(Non-negative Matrix Factorization,NMF)
  • 独立成分分析(Independent components analysis, ICA)
  • 邻域保持嵌入(Neighborhood Preserving Embedding,NPE)
  • 局部保留投影(Locality Preserving Projections. LPP)

2.2 度量学习的非线性模型

非线性的度量学习更加的一般化,非线性降维算法可以看作属于非线性度量学习。经典的算法有等距映射(Isometric Mapping,ISOMAP) 、局部线性嵌入(Locally Linear Embedding, LLE) ,以及拉普拉斯特征映射(Laplacian Eigenmap,LE ) 等。另一个学习非线性映射的有效手段是通过核方法来对线性映射进行扩展。此外还有如下几个方面

3 应用

度量学习已应用于计算机视觉中的图像检索和分类、人脸识别、人类活动识别和姿势估计,文本分析和一些其他领域如音乐分析,自动化的项目调试,微阵列数据分析等[4]。

推荐阅读的论文

以下列举的论文大都对后来度量学习产生了很大影响(最高的google引用量上了5000次)。1-6篇论文是关于一些方法的论文,最后一篇为综述。

  • Distance metric learning with application to clustering with side-information
  • Information-theoretic metric learning(关于ITML)
  • Distance metric learning for large margin nearest neighbor classification(关于LMNN)
  • Learning the parts of objects by non-negative matrix factorization(Nature关于RCA的文章)
  • Neighbourhood components analysis(关于NCA)
  • Metric Learning by Collapsing Classes(关于MCML)
  • Distance metric learning a comprehensive survey(一篇经典的综述)

机器学习数据集

UCI machine learning repository:http://archive.ics.uci.edu/ml/

参考文献

[1] Xing E P, Jordan M I, Russell S, et al. Distance metric learning with application to clustering with side-information[C]//Advances in neural information processing systems. 2002: 505-512.

[2] Kulis B. Metric learning: A survey[J]. Foundations and Trends in Machine Learning, 2012, 5(4): 287-364.

[3] Yang L, Jin R. Distance metric learning: A comprehensive survey[J]. Michigan State Universiy, 2006, 2.

[4]王微. 融合全局和局部信息的度量学习方法研究[D]. 中国科学技术大学, 2014.

mark一波——度量学习(metric learning)相关推荐

  1. 度量学习————Metric Learning

    度量学习的概念 度量学习 (Metric Learning) == 距离度量学习 (Distance Metric Learning,DML) == 相似度学习 度量学习 是指 距离度量学习,Dist ...

  2. 度量学习 (Metric Learning) 解读

    本文转载于以下博客地址:https://blog.csdn.net/jningwei/article/details/80641184 如有冒犯,还望谅解! Introduction 度量学习 (Me ...

  3. 度量学习 (Metric Learning)(一)

    度量学习(Metric Learning) 度量(Metric)的定义  在数学中,一个度量(或距离函数)是一个定义集合中元素之间距离的函数.一个具有度量的集合被称为度量空间. 1 为什么要用度量学习 ...

  4. 深度度量学习 (metric learning deep metric learning )度量函数总结

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/qq_16234613/article/ ...

  5. 度量学习 度量函数 metric learning deep metric learning 深度度量学习

    曼哈顿距离(CityBlockSimilarity) 同欧式距离相似,都是用于多维数据空间距离的测度. 欧式距离(Euclidean Distance) 用于衡量多维空间中各个点之间的绝对距离.欧式距 ...

  6. 机器学习: Metric Learning (度量学习)

    Introduction 度量学习 (Metric Learning) == 距离度量学习 (Distance Metric Learning,DML) == 相似度学习 是人脸识别中常用传统机器学习 ...

  7. 度量学习(Metric Learning)基础概念

    一.什么是度量学习? 度量学习 (Metric Learning) == 距离度量学习 (Distance Metric Learning,DML) == 相似度学习. 在数学中,一个度量(或距离函数 ...

  8. Metric Learning——度量学习

    2018年04月10日 15:30:29 敲代码的quant 阅读数:1567 标签: 度量学习metric learning机器学习聚类 更多 个人分类: 机器学习 版权声明:本文为博主原创文章,未 ...

  9. 度量学习(Metric Learning)【AMSoftmax、Arcface】

    一.概述 度量学习 (Metric Learning) == 距离度量学习 (Distance Metric Learning,DML) == 相似度学习. 在数学中,一个度量(或距离函数)是一个定义 ...

最新文章

  1. 黄聪:原生js的音频播放器,兼容pc端和移动端(原创)
  2. SAP RETAIL 商品主数据POS视图
  3. 常用的排序算法的时间复杂度和空间复杂度 .
  4. linux下tar包安装sudo命令,ubuntu12.04LTS安装gv-412-Linux-x86.tar.gz方法
  5. 大数据-----软件开发模型(详细讲解)
  6. 论文笔记《Neural Machine Translation by Jointly Learning to Align and Translate》
  7. SpringMVC注解@RequestParam(转)
  8. 循迹避障智能小车c语言程序,智能循迹避障小车完整程序lpar;亲测好使rpar;
  9. Java使用JNA调用SWMM模型的DLL
  10. python常用代码大全,常用库大全
  11. 流行的后台管理系统模板总结
  12. C语言 枚举——熄灯问题
  13. 计算机技术与软件专业技术资格(水平)考试岗位设置与描述
  14. 电子健康档案:实现医疗信息的有效共享
  15. Hide column
  16. /etc/sysconfig/目录详解
  17. 做网站时域名应该怎么选择
  18. 计算机网络英语作文150字,关于分析网络的优点150字左右的英语作文
  19. 从边际效用递减原理看人的幸福感和前进动力
  20. 用SEGGER Embedded Studio(SES)开发蓝牙nRF52840

热门文章

  1. 辐射76角色扮演Steam游戏简体中文版下载
  2. LocalDate和LocalTime的用法介绍
  3. JS中export怎么用
  4. 智慧方政务云顶层设计与建设方案(ppt)
  5. SpringCloudAlibaba之Seata-AT和XA模式
  6. 火星人集成灶捷报频传闪耀集成灶行业 盘点火星人取得的耀眼成绩
  7. 51单片机入门 7.11(始)
  8. extends与implements的不同
  9. VirtualBox 共享文件夹失败
  10. android xml 16进制 729种颜色 拿走不谢