关于协方差矩阵和相关系数矩阵的一些应用认识

今天重新认识了一下用PCA 进行人脸识别，为什么要用主成分分析。

首先，来了解什么是方差。方差即为：差，方，和，均。差是减法，方是平方，和是加法，均则是出发，就是求差，方的均值。方差实际就是计算差值平均。均值反映的是平均水平，方差反映的是波动的水平。方差越大，数据波动越大，方差越小，数据波动越小。

然后我了解了一下协方差矩阵和相关矩阵的区别协方差矩阵的优势效应表现在单个指标方差大，指标之间相关程度高以及指标数多的一类指标上。而相关系数矩阵主要的优势表现在指标之间相关程度高以及指标数多的一类指标上。所以当单个指标的方差对研究起关键作用时，那么用协方差矩阵分析主成分比较好。协方差反应的是个体对事物的认识差异较大的，比如说人脸识别中，用协方差计算出的主成分反应的就是不同人脸的差异部分。如果研究的目的变了，单个指标的方差并不反映指标的重要性。我们就不能考虑用协方差矩阵了。

相关系数矩阵就是随机变量标准化后的协方差矩阵，通过随机变量的标准化，相关系数矩阵剥离了单个指标的方差，仅仅保留了指标间的相关性，用相关系数矩阵计算主成分，主要的优势表现在指标之间相关程度高以及指标数多的一类指标上。通过个体的认识来综合反应指标的重要性，那么用相关系数矩阵来表示主成分。

X,Y 独立的定义是P（X<x,Y<y）=P(X<x)P(Y<y)。相关的意思是说两随机变量有线性关系，即Y=aX+b
不相关则意思说没有线性关系。独立一定能得到不相关。
但不相关的随机变量不一定独立，比如随机变量X ， X^2 没有线性关系，不相关，但显然不独立。

了解相关矩阵前先了解相关系数。
相关系数的取值范围为[-1,1]，当相关系数为1时，表示正相关；当相关系数为-1时，表示负相关；当相关系数为0时，表示不相关。
正相关：因变量随着自变量的增大而增大
负相关：因变量随着自变量的增大而减小
计算公被用来计算相关系数。

再来看相关矩阵：
相关矩阵中每个值都是代表原矩阵中各列之间的相关系数（相关矩阵为方阵，阶数为原矩阵的列数），对角线上都是原矩阵各列与自身的相关系数，所以对角线的值均为1。

随机变量x=(x1,x2,……，xn),xi与xj的协方差为cov(xi,xj)=E[(xi-Exi)(xj-Exj)]
相关系数Pij为cov(xi,xj)/(DxiDxj)^0.5
相关阵就是有(Pij) n*n矩阵

http://en.wikipedia.org/wiki/Covariance_and_correlation

http://en.wikipedia.org/wiki/Correlation_matrix#Correlation_matrices

类似的理解有http://blog.csdn.net/porly/article/details/8020997

协方差矩阵的理解http://blog.sina.com.cn/s/blog_4aa4593d01012am3.html

关于协方差矩阵和相关系数矩阵的一些应用认识相关推荐

python计算协方差矩阵_协方差矩阵、相关系数矩阵的EXCEL和python实现
原标题:协方差矩阵.相关系数矩阵的EXCEL和python实现 CPDA广州19期学员现任职务:数据分析师史金乐优秀学员原创文章要计算相关系数矩阵,那就不得不提协方差矩阵.在<概率论与数 ...
python协方差阵转为相关阵_协方差矩阵、相关系数矩阵的EXCEL和python实现
按照协方差矩阵中各元素cij的计算过程,我们可以得知要依次计算E(Xi),X - E(Xi),cij. 在得到协方差矩阵之后,可以根据相关系数公式:(其中D(X)为矩阵X的方差) 可以得出相关系数矩阵 ...
协方差矩阵与相关系数矩阵
文章目录前言 1. 方差.协方差与相关系数 2. 协方差矩阵 3. 相关系数矩阵前言本篇博客主要介绍一下方差.协方差及相关系数的相关知识,进而引入了协方差矩阵与相关系数矩阵,并结合相关实例进 ...
协方差矩阵和相关系数矩阵（R语言）
一.协方差矩阵 1.协方差定义 2.R语言实现 #协方差矩阵 #等价于cov(data)data<-as.matrix(data) n<-nrow(data) mx<-diag(1, ...
python 相关系数矩阵_期望，方差，协方差，相关系数，协方差矩阵，相关系数矩阵，以及numpy实现...
1. 期望 2. 方差 3. 协方差和相关系数协方差(或者相关系数)如果是正的,表明X和Y之间同时增加或减小:如果是负的,表明X和Y之间有一个增加而另一个减小:如果它的值为0,则表明X和Y之间是独立 ...
协方差矩阵, 相关系数矩阵
变量说明: 设为一组随机变量,这些随机变量构成随机向量,每一个随机变量有m个样本,则有样本矩阵 (1) 当中相应 ...
随机信号的特征—（自相关函数\互相关函数、协方差矩阵、相关矩阵\相关系数矩阵\相关系数）
在学习概率统计之前,我学习的都是确定的函数.概率统计讨论了一次取值时获得的值是不确定的,而随机过程讨论了不确定会发生哪个时间函数. 每个x(t)函数(样本函数)就是实际发生的一个表达式确定的函数,对每 ...
协方差矩阵、相关矩阵、相关系数矩阵、相关系数之间的关系
今天了解了一下统计方法的基本概念,觉得有必要记录一下: 1. 已知信号矩阵sigmat, 协方差矩阵(covariance matrix) 可以用matlab函数cov(sigmat)求得: 2. 相 ...
python求相关系数矩阵，协方差矩阵
定义:设(X1,X2,X3,···,Xn)是一个n维随机变量,任意Xi与Xj的相关系数\(p_{ij}(i=1,2,···,n)\)存在,则以\(p_{ij}\)为元素的n阶矩阵称为该维随机变量的相关 ...

关于协方差矩阵和相关系数矩阵的一些应用认识

关于协方差矩阵和相关系数矩阵的一些应用认识相关推荐

最新文章

热门文章