一、统计学的基本概念

统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述：

均值：

标准差：

方差：

均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。

以这两个集合为例，[0, 8, 12, 20]和[8, 9, 11, 12]，两个集合的均值都是10，但显然两个集合的差别是很大的，计算两者的标准差，前者是8.3后者是1.8，显然后者较为集中，故其标准差小一些，标准差描述的就是这种“散布度”。之所以除以n-1而不是n，是因为这样能使我们以较小的样本集更好地逼近总体的标准差，即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。

二、为什么需要协方差

标准差和方差一般是用来描述一维数据的，但现实生活中我们常常会遇到含有多维数据的数据集，最简单的是大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，比如，一个男孩子的猥琐程度跟他受女孩子的欢迎程度是否存在一些联系。协方差就是这样一种用来度量两个随机变量关系的统计量，我们可以仿照方差的定义：

来度量各个维度偏离其均值的程度，协方差可以这样来定义：

协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的（从协方差可以引出“相关系数”的定义），也就是说一个人越猥琐越受女孩欢迎。如果结果为负值，就说明两者是负相关，越猥琐女孩子越讨厌。如果为0，则两者之间没有关系，猥琐不猥琐和女孩子喜不喜欢之间没有关联，就是统计上说的“相互独立”。

三、协方差矩阵

前面提到的猥琐和受欢迎的问题是典型的二维问题，而协方差也只能处理二维问题，那维数多了自然就需要计算多个协方差，比如n维的数据集就需要计算

个协方差，那自然而然我们会想到使用矩阵来组织这些数据。给出协方差矩阵的定义：

这个定义还是很容易理解的，我们可以举一个三维的例子，假设数据集有三个维度，则协方差矩阵为：

可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度的方差。

尽管协方差矩阵很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度来看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。

若 $AX=\lambda{X}$ ，则称 $\lambda$ 是A的特征值，X是对应的特征向量。实际上可以这样理解：矩阵A作用在它的特征向量X上，仅仅使得X的长度发生了变化，缩放比例就是相应的特征值 $\lambda$ 。

当A是n阶可逆矩阵时，A与P-1Ap相似，相似矩阵具有相同的特征值。特别地，当A是对称矩阵时，A的奇异值等于A的特征值，存在正交矩阵Q（Q-1=QT），使得：

对A进行奇异值分解就能求出所有特征值和Q矩阵。

A*Q=Q*D,D是由特征值组成的对角矩阵.由特征值和特征向量的定义知，Q的列向量就是A的特征向量。

协方差，协方差矩阵，矩阵特征值相关推荐

如何理解矩阵特征值？
李浩 ,FPA蓝色 / EE. 知乎用户.Tavion Fu.雄哼哼等人赞同补充:答主现在用到的多数是对称矩阵或酉矩阵的情况,有思维定势了,写了半天才发现主要讲的是对称矩阵,这答案就当科普用了.特 ...
使用MTL库求解矩阵特征值和特征向量
关于矩阵的特征值和特征向量求解,大部分的数学运算库都进行了提供,下面是使用MTL库的接口进行封装. #include <mtl/matrix.h> #include <mtl/mtl ...
矩阵“特征值”要表示什么“特征”
从很多年前接触到"特征值"这个词开始,我就一直有个疑问没搞明白,为啥矩阵 "特征值"和"特征向量"中的"特征",与我们日 ...
矩阵特征值与行列式、迹的关系
矩阵特征值与行列式.迹的关系 from: http://www.cnblogs.com/AndyJee/p/3737592.html 矩阵的特征值之积等于矩阵的行列式矩阵的特征值之和等于矩阵的迹简 ...
【数理知识】《数值分析》李庆扬老师-第8章-矩阵特征值计算
第7章回到目录第9章第8章-矩阵特征值计算 8.1 特征值性质和估计 8.1.1 特征值问题及其性质定理1 8.2 幂法及反幂法 8.3.1 豪斯霍尔德 (Householder) 变换 8. ...
2021-01-07 matlab数值分析矩阵特征值与特征向量的计算改进乘幂法反幂法
matlab数值分析矩阵特征值与特征向量的计算 1改进乘幂法 function [t,y]=eigIPower(A,v0,ep) [tv,ti]=max(abs(v0)); lam0=v0(ti) ...
python numpy逆_Python使用numpy计算矩阵特征值、特征向量与逆矩阵
原标题:Python使用numpy计算矩阵特征值.特征向量与逆矩阵 Python扩展库numpy.linalg的eig()函数可以用来计算矩阵的特征值与特征向量,而numpy.linalg.inv() ...
求矩阵特征值的方法和性质
求矩阵特征值的方法 Ax=mx,等价于求m,使得(mE-A)x=0,其中E是单位矩阵,0为零矩阵. |mE-A|=0,求得的m值即为A的特征值.|mE-A| 是一个n次多项式,它的全部根就是n阶方阵A ...
矩阵特征值和特征向量详细计算过程(转载)
1.矩阵特征值和特征向量定义 A为n阶矩阵,若数λ和n维非0列向量x满足Ax=λx,那么数λ称为A的特征值,x称为A的对应于特征值λ的特征向量.式Ax=λx也可写成( A-λE)x=0,并且|λE-A ...
Python使用numpy计算矩阵特征值、特征向量与逆矩阵
Python扩展库numpy.linalg的eig()函数可以用来计算矩阵的特征值与特征向量,而numpy.linalg.inv()函数用来计算可逆矩阵的逆矩阵. >>> impor ...

协方差，协方差矩阵，矩阵特征值

一、统计学的基本概念

二、为什么需要协方差

三、协方差矩阵

协方差，协方差矩阵，矩阵特征值相关推荐

最新文章

热门文章