metric learning -- 马氏距离与欧氏距离

一基本概念

方差：（variance）是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。在许多实际问题中，研究方差即偏离程度有着重要意义。

在统计描述中，方差用来计算每一个变量（观察值）与总体均数之间的差异。为避免出现离均差总和为零，离均差平方和受样本含量的影响，统计学采用平均离均差平方和来描述变量的变异程度。总体方差计算公式：

为总体方差，

为变量，为总体均值，为总体例数。

记住，欧氏距离不是方差，欧氏距离是定义了两个值之间的距离！！！！！！

同样，马氏距离也不是协方差！！！！！！！

协方差：标准差与方差是描述一维数据的，当存在多维数据时，我们通常需要知道每个维数的变量中间是否存在关联。协方差就是衡量多维数据集中，变量之间相关性的统计量。比如说，一个人的身高与他的体重的关系，这就需要用协方差来衡量。如果两个变量之间的协方差为正值，则这两个变量之间存在正相关，若为负值，则为负相关。

在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。

期望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y)定义为：

从直观上来看，协方差表示的是两个变量总体误差的期望。

如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值；如果两个变量的变化趋势相反，即其中一个变量大于自身的期望值时另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

如果X与Y是统计独立的，那么二者之间的协方差就是0，因为两个独立的随机变量满足E[XY]=E[X]E[Y]。

二马氏距离

马氏距离是由印度统计学家马哈拉诺比斯（P. C. Mahalanobis）提出的，表示数据的协方差距离。

协方差矩阵，当变量多了，超过两个变量了。那么，就用协方差矩阵来衡量这么多变量之间的相关性。假设 X 是以 n 个随机变数（其中的每个随机变数是也是一个向量，当然是一个行向量）组成的列向量：

马氏距离：它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的）并且是尺度无关的（scale-invariant），即独立于测量尺度。

将马氏距离用于人脸识别时，x是预测出的数值，μ是期望（标签）。人脸图像大小为200*200时，那么x应该是200*200大小的，相应地，协方差矩阵也时一个大矩阵的，而Dm（x）则是标量。

而欧氏距离用于人脸识别，，x是预测出的额值，μ是期望（标签）。人脸图像大小为200*200时，那么X也是200*200的，但是输出σ2也是标量。

knn中，使用马氏距离比使用欧式距离好，为什么？

knn中，使用马氏距离，则协方差矩阵是训练集的协方差矩阵。d=（x-y）‘R^-1（x-y）

使用欧式距离d = （x-y）’（x-y）

不同之处在于马氏距离，多乘一个R^-1，从而得到的距离必然与欧氏距离不同。而给x分类的关键局势距离的大小，选择合适的距离度量是大事。

但说到底，都是计算两个距离，然后使用投票方式，选出x的标签。

http://blog.csdn.net/zb1165048017/article/details/48579743

转载于:https://www.cnblogs.com/mengmengmiaomiao/p/7597533.html

metric learning -- 马氏距离与欧氏距离相关推荐

目标跟踪：Deepsort--卡尔曼滤波、匈牙利匹配、马氏距离、欧氏距离、级联匹配、reid
本篇文章供自己学习回顾,其中错误希望指出! 先把目标跟踪中涉及到的名词抛出来: 1.卡尔曼滤波. 2.匈牙利匹配:https://blog.csdn.net/DeepCBW/article/detai ...
马氏距离 vs 欧氏距离
欧氏距离定义: 欧氏距离( Euclidean distance)是一个通常采用的距离定义,它是在m维空间中两个点之间的真实距离. 在二维和三维空间中的欧式距离的就是两点之间的距离,二维的公式是 d ...
[机器学习-概念] 什么是欧式距离、标准化欧式距离、马氏距离、余弦距离
1.欧式距离(Euclidean Distance) 欧式距离源自N维欧氏空间中两点x1,x2x_1,x_2x1,x2间的距离公式: 2.标准化欧式距离(Standardized Euclidea ...
马氏距离（Mahalanobis Distance）介绍与实例
本文介绍马氏距离(Mahalanobis Distance),通过本文,你将了解到马氏距离的含义.马氏距离与欧式距离的比较以及一个通过马氏距离进行异常检测的例子(基于Python的sklearn包). ...
直观理解--马氏距离
首先我们很了解欧氏距离了,就是用来计算欧式空间(就是我们常见的坐标系)中两个点的距离的. 比如点 x = ( x 1 , - , x n ) x = (x_1,-,x_n) x=(x1,-,xn) ...
马氏距离和欧式距离详解
一般在机器学习模型中会涉及到衡量两个样本间的距离,如聚类.KNN,K-means等,使用的距离为欧式距离.其实,除了欧氏距离之外,还有很多的距离计算标准,本文主要介绍欧氏距离和马氏距离. 欧氏距离最 ...
欧式距离、标准化欧式距离、马氏距离、余弦距离
目录欧氏距离标准化欧氏距离马氏距离夹角余弦距离汉明距离曼哈顿(Manhattan)距离 1.欧式距离欧式距离源自N维欧氏空间中两点x1,x2x1,x2间的距离公式: 2.标准化欧式距离 ...
欧氏距离和马氏距离简介
欧氏距离和马氏距离简介 By:Yang Liu 1.欧氏距离在数学中,欧几里得距离或欧几里得度量是欧几里得空间中两点间"普通"(即直线)距离.欧几里得度量(euclidean m ...
欧氏距离 vs 马氏距离
欧氏距离定义: 欧氏距离( Euclidean distance)是一个通常采用的距离定义,它是在m维空间中两个点之间的真实距离. 在二维和三维空间中的欧式距离的就是两点之间的距离,二维的公式是 d ...

metric learning -- 马氏距离与欧氏距离

metric learning -- 马氏距离与欧氏距离相关推荐

最新文章

热门文章