协方差矩阵的几何意义

假设原始数据为XXX，其协方差矩阵CCC为对称矩阵，协方差矩阵的特征分解为
C=RSR−1=RSRT（C为对称矩阵所以有R−1=RT）C=RSR^{-1}=RSR^{T}（C为对称矩阵所以有R^{-1}=R^{T}）C=RSR−1=RSRT（C为对称矩阵所以有R−1=RT）

其中RRR为特征向量组成的正交矩阵，每一列是一个特征向量，所有特征向量组成一组正交基，根据RRR对数据进行坐标旋转后消除相关性；SSS为特征值组成的对角矩阵，它实际上是旋转后的数据的协方差矩阵，由于旋转后的数据各维度是相互独立的，所以协方差为零，只有对角线有值，即每个维度的方差，利用SSS可对旋转后的数据进行缩放（利用旋转后每个维度的方差）。

首先对数据进行旋转
Y=XRY=XRY=XR

再对YYY进行缩放，除以各维度的标准差
Z=YS−1Z=Y\sqrt{S^{-1}}Z=YS−1

这就是马氏变换，在马氏变换后的空间ZZZ中计算欧式距离就相应得到原始空间XXX的马氏距离。马氏距离的推导见。

协方差矩阵的几何意义相关推荐

matlab类间散度矩阵,协方差矩阵和散布矩阵（散度矩阵）的意义
在机器学习模式识别相关算法中,经常需要求样本的协方差矩阵C和散布矩阵S.如在PCA主成分分析中,就需要计算样本的散度矩阵,而有的教材资料是计算协方差矩阵.实质上协方差矩阵和散度矩阵的意义就是一样的,散 ...
协方差矩阵和散布矩阵（散度矩阵）的意义
协方差矩阵和散布矩阵的意义 [尊重原创,转载请注明出处]http://blog.csdn.net/guyuealian/article/details/68922981 在机器学习模式识别中, ...
协方差矩阵的几何性质
本篇笔记将以向量值随机变量X=(X1,-,Xn)TX=(X_1,\dots,X_n)^TX=(X1,-,Xn)T的协方差矩阵为例,研究其性质.在阅读笔记之前可先记下先导篇中的相关结论,尤其是该篇中 ...
opencv fisheye calibration(鱼眼相机校正)
文章目录 fisheye_calibration 小孔成像模型(理想相机成像模型) fisheye model 相机模型内参校正的原理 calibration过程对这个过程简单分析参考文章 fi ...
向量表示，投影，协方差矩阵，PCA
原文:http://blog.csdn.net/songzitea/article/details/18219237 引言当面对的数据被抽象为一组向量,那么有必要研究一些向量的数学性质.而这些数学性 ...
主成分分析PCA算法：为什么去均值以后的高维矩阵乘以其协方差矩阵的特征向量矩阵就是“投影”？
这是从网上看到的PCA算法的步骤: 第一步,分别求每列的平均值,然后对于所有的样例,都减去对应的均值. 第二步,求特征协方差矩阵. 第三步,求协方差的特征值-显示全部关注者 1,218 被浏览 78 ...
机器学习--主成分分析PCA算法：为什么去均值以后的高维矩阵乘以其协方差矩阵的特征向量矩阵就是“投影”？
原文链接:主成分分析PCA算法:为什么去均值以后的高维矩阵乘以其协方差矩阵的特征向量矩阵就是"投影"?_天下对手教会少林武僧-CSDN博客_pca投影矩阵这是从网上看到的PCA算 ...
用相似矩阵的几何意义直观理解PCA降维方法
PCA(主成分分析)是降维中最经典的方法,其推导求解的常用两种方法包括最大方差理论(样本点到超平面的投影都尽可能分开)以及最小平方误差理论(样本点到超平面的距离都足够近),以上两种方法都需要进行严格意 ...
lda 协方差矩阵_线性判别分析LDA详解
1 Linear Discriminant Analysis 相较于FLD(Fisher Linear Decriminant),LDA假设:1.样本数据服从正态分布,2.各类得协方差相等.虽然这些在 ...

协方差矩阵的几何意义

协方差矩阵的几何意义相关推荐

最新文章

热门文章