mark一波——度量学习(metric learning)
度量学习(Metric Learning)
度量(Metric)的定义
在数学中,一个度量(或距离函数)是一个定义集合中元素之间距离的函数。一个具有度量的集合被称为度量空间。
1 为什么要用度量学习?
2、度量学习的方法
根据相关论文[2,3,4],度量学习方法可以分为通过线性变换的度量学习和度量学习的非线性模型。
2.1 通过线性变换的度量学习
由于线性度量学习具有简洁性和可扩展性(通过核方法可扩展为非线性度量方法),现今的研究重点放在了线性度量学习问题上。线性的度量学习问题也称为马氏度量学习问题,可以分为监督的和非监督的学习算法。
监督的马氏度量学习可以分为以下两种基本类型:
I 监督的全局度量学习:该类型的算法充分利用数据的标签信息。如
- Information-theoretic metric learning(ITML)
- Mahalanobis Metric Learning for Clustering([1]中的度量学习方法,有时也称为MMC)
- Maximally Collapsing Metric Learning (MCML)
II 监督的局部度量学习:该类型的算法同时考虑数据的标签信息和数据点之间的几何关系。如
- Neighbourhood Components Analysis (NCA)
- Large-Margin Nearest Neighbors (LMNN)
- Relevant Component Analysis(RCA)
- Local Linear Discriminative Analysis(Local LDA)
此外,一些很经典的非监督线性降维算法可以看作属于非监督的马氏度量学习。如
- 主成分分析(Pricipal Components Analysis, PCA)
- 多维尺度变换(Multi-dimensional Scaling, MDS)
- 非负矩阵分解(Non-negative Matrix Factorization,NMF)
- 独立成分分析(Independent components analysis, ICA)
- 邻域保持嵌入(Neighborhood Preserving Embedding,NPE)
- 局部保留投影(Locality Preserving Projections. LPP)
2.2 度量学习的非线性模型
- Non-Mahalanobis Local Distance Functions
- Mahalanobis Local Distance Functions
- Metric Learning with Neural Networks
3 应用
度量学习已应用于计算机视觉中的图像检索和分类、人脸识别、人类活动识别和姿势估计,文本分析和一些其他领域如音乐分析,自动化的项目调试,微阵列数据分析等[4]。
推荐阅读的论文
以下列举的论文大都对后来度量学习产生了很大影响(最高的google引用量上了5000次)。1-6篇论文是关于一些方法的论文,最后一篇为综述。
- Distance metric learning with application to clustering with side-information
- Information-theoretic metric learning(关于ITML)
- Distance metric learning for large margin nearest neighbor classification(关于LMNN)
- Learning the parts of objects by non-negative matrix factorization(Nature关于RCA的文章)
- Neighbourhood components analysis(关于NCA)
- Metric Learning by Collapsing Classes(关于MCML)
- Distance metric learning a comprehensive survey(一篇经典的综述)
机器学习数据集
UCI machine learning repository:http://archive.ics.uci.edu/ml/
参考文献
[1] Xing E P, Jordan M I, Russell S, et al. Distance metric learning with application to clustering with side-information[C]//Advances in neural information processing systems. 2002: 505-512.
[2] Kulis B. Metric learning: A survey[J]. Foundations and Trends in Machine Learning, 2012, 5(4): 287-364.
[3] Yang L, Jin R. Distance metric learning: A comprehensive survey[J]. Michigan State Universiy, 2006, 2.
[4]王微. 融合全局和局部信息的度量学习方法研究[D]. 中国科学技术大学, 2014.
mark一波——度量学习(metric learning)相关推荐
- 度量学习————Metric Learning
度量学习的概念 度量学习 (Metric Learning) == 距离度量学习 (Distance Metric Learning,DML) == 相似度学习 度量学习 是指 距离度量学习,Dist ...
- 度量学习 (Metric Learning) 解读
本文转载于以下博客地址:https://blog.csdn.net/jningwei/article/details/80641184 如有冒犯,还望谅解! Introduction 度量学习 (Me ...
- 度量学习 (Metric Learning)(一)
度量学习(Metric Learning) 度量(Metric)的定义 在数学中,一个度量(或距离函数)是一个定义集合中元素之间距离的函数.一个具有度量的集合被称为度量空间. 1 为什么要用度量学习 ...
- 深度度量学习 (metric learning deep metric learning )度量函数总结
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/qq_16234613/article/ ...
- 度量学习 度量函数 metric learning deep metric learning 深度度量学习
曼哈顿距离(CityBlockSimilarity) 同欧式距离相似,都是用于多维数据空间距离的测度. 欧式距离(Euclidean Distance) 用于衡量多维空间中各个点之间的绝对距离.欧式距 ...
- 机器学习: Metric Learning (度量学习)
Introduction 度量学习 (Metric Learning) == 距离度量学习 (Distance Metric Learning,DML) == 相似度学习 是人脸识别中常用传统机器学习 ...
- 度量学习(Metric Learning)基础概念
一.什么是度量学习? 度量学习 (Metric Learning) == 距离度量学习 (Distance Metric Learning,DML) == 相似度学习. 在数学中,一个度量(或距离函数 ...
- Metric Learning——度量学习
2018年04月10日 15:30:29 敲代码的quant 阅读数:1567 标签: 度量学习metric learning机器学习聚类 更多 个人分类: 机器学习 版权声明:本文为博主原创文章,未 ...
- 度量学习(Metric Learning)【AMSoftmax、Arcface】
一.概述 度量学习 (Metric Learning) == 距离度量学习 (Distance Metric Learning,DML) == 相似度学习. 在数学中,一个度量(或距离函数)是一个定义 ...
最新文章
- 黄聪:原生js的音频播放器,兼容pc端和移动端(原创)
- SAP RETAIL 商品主数据POS视图
- 常用的排序算法的时间复杂度和空间复杂度 .
- linux下tar包安装sudo命令,ubuntu12.04LTS安装gv-412-Linux-x86.tar.gz方法
- 大数据-----软件开发模型(详细讲解)
- 论文笔记《Neural Machine Translation by Jointly Learning to Align and Translate》
- SpringMVC注解@RequestParam(转)
- 循迹避障智能小车c语言程序,智能循迹避障小车完整程序lpar;亲测好使rpar;
- Java使用JNA调用SWMM模型的DLL
- python常用代码大全,常用库大全
- 流行的后台管理系统模板总结
- C语言 枚举——熄灯问题
- 计算机技术与软件专业技术资格(水平)考试岗位设置与描述
- 电子健康档案:实现医疗信息的有效共享
- Hide column
- /etc/sysconfig/目录详解
- 做网站时域名应该怎么选择
- 计算机网络英语作文150字,关于分析网络的优点150字左右的英语作文
- 从边际效用递减原理看人的幸福感和前进动力
- 用SEGGER Embedded Studio(SES)开发蓝牙nRF52840