方差var、协方差cov、协方差矩阵（浅谈）

原文地址：

http://blog.sina.com.cn/s/blog_9e67285801010q68.html

前些天看程序，涉及到了关于方差、协方差的内容，由于本人做学问讲究严谨（其实是忘了）特此查阅了相关内容，并试图在matlab中进行小小实验验证，结果，问题来了....

（本来想着立马总结下发出来让大家参考的，最近比较忙一直没有腾出时间来整理，请大家原谅俺吧）

哦，对了，这篇主要是给小菜鸟看的，大侠们可以尽管放心去走你们的阳关道

以下内容虽并非全部原创，但也是小编精心整理，转载请注明出处：http://blog.sina.com.cn/s/blog_9e67285801010q68.html

由于要介绍基本概念和后面的函数分析、matlab实例比较长，思前想后，决定分成三个部分

下面先看看方差、协方差、协方差矩阵的定义：

方差 variance:

方差是各个数据与平均数之差的平方的平均数。在概率论与数理统计中，方差（英文Variance）用来度量随机变量和其数学期望（即均值）之间的偏离程度。方差是各个数据与平均数之差的平方和的平均数,即s=(1/n)[(x1-x_)^2+(x2-x_)^2+...+(xn-x_)^2，其中，x_表示样本的平均数，n表示样本的数量，^，xn表示个体，而s就表示方差。

而当用(1/n)[(x1-x_)^2+(x2-x_)^2+...+(xn-x_)^2]作为样本X的方差的估计时，发现其数学期望并不是X的方差，而是X方差的(n-1)/n倍，[1/(n-1)][(x1-x_)^2+(x2-x_)^2+...+(xn-x_)^2]的数学期望才是X的方差，用它作为X的方差的估计具有“无偏性”，所以我们总是用[1/(n-1)]∑(xi-X~)^2来估计X的方差，并且把它叫做“样本方差”。（注意：这点很重要）

设X是一个随机变量，若E{[X-E(X)]^2}存在，则称E{[X-E(X)]^2}为X的方差，记为D(X)或DX。

　　即D(X)=E{[X-E(X)]^2}称为方差，而σ(X)=D(X)^0.5（与X有相同的量纲）称为标准差（或均方差）。即用来衡量一组数据的离散程度的统计量。
　　方差刻画了随机变量的取值对于其数学期望的离散程度。即，D（X）是刻画X取值分散程度的一个量，它是衡量X取值分散程度的一个尺度。若X的取值比较集中，则方差D(X)较小；若X的取值比较分散，则方差D(X)较大。　　

…………………………………………………………………………………………………………………………………

协方差 covariance ：

在概率论和统计学中，协方差用于衡量两个变量的总体误差，是一个衡量线性独立的无量纲的数。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。

　　期望值分别为E(X) = μ 与 E(Y) = ν 的两个实数随机变量X与Y之间的协方差定义为：COV(X，Y)=E[(X-E(X))(Y-E(Y))] （注：COV(X，Y) = E(XY) - E(X)E(Y) 推导过程为原式做因式分解，神马？你没学过因式分解&￥%@#￥@%&*！！！）

直观上来看，协方差表示的是两个变量总体误差的方差，这与只表示一个变量误差的方差不同。　　如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

如果X与Y是统计独立的，那么二者之间的协方差就是0，反之则不成立（我偷下懒，这个知识可以回去看看数理统计）

………………………………………………………………………………………………………………………………

协方差矩阵 covariance matrix ：

在概率论和统计学中,，协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的协方差。是从标量随机变量（也就是单维或单值随机变量）到高维度随机向量的自然推广。

　　假设 X 是以 n 个标量随机变量（看做n个变量）组成的行向量，并且μk 是其第k个元素的期望值, 即, μk = E(Xk), 协方差矩阵然后被定义为：　　Σ=E{(X-E[X])(X-E[X])T}

（这儿插一句：无论你要求的X样本有多少，假设为m个，求出的协方差矩阵都是n阶方阵）
　　矩阵中的第(i,j)个元素是变量Xi与变量Xj的协方差. 这个概念是对于标量随机变量方差的一般化推广。　　尽管协方差矩阵很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。这个方法在统计学中被称为主成分分析(principal components analysis)，在图像处理中称为KL-变换。

可能你还是会对协方差矩阵迷迷糊糊的，没关系，表着急，接着往后看

……………………………………………………………………………………

→→→→→→→二师兄！后面有好多女妖怪.........

http://blog.sina.com.cn/s/blog_9e67285801010q68.html

方差var、协方差cov、协方差矩阵（浅谈）相关推荐

期望、方差、协方差、协方差矩阵
原期望.方差.协方差和协方差矩阵 2018年06月07日 17:10:58 siucaan 阅读数:6231 </div><div class="operating&qu ...
方差、协方差、协方差矩阵的概念及意义的理解
书到用时方恨少,不仅文科是这样,理科更是这样. 想想大学时候,我们学习数学的目的也就是为了考试,从来没有想过它们能解决什么实际问题.但是现在想想,我们真是错了.数学其实就是来自生活. 话题一转,如果是 ...
方差、协方差和协方差矩阵
上次写了相关系数,其实很类似的一个概念是协方差.要说协方差,先复习下基本的统计内容 1. 均值 2.方差(标准差.标准方差) 或者写为: 简单来说 ...
【数学】方差、协方差、协方差矩阵
方差 (variance):单个向量方差用来描述数值的分散(离散)程度,某个变量(向量)的方差可以用该变量的每个元素减去均值的完全平方再求平均来求得. Var(a)=1m.∑i=1m(ai−μ)2V ...
matlab计算斜方差_协方差与协方差矩阵（附Matlab实现）
今天天气很棒呀,所以也要是活力满满的一天鸭!今天回顾了之前看到的协方差和协方差矩阵,发现真的缺漏了很多,所以做如下记录. 协方差学过概率统计的应该都知道协方差的定义,接下来就简单说明一下. 协方差表 ...
均值、方差、协方差、协方差矩阵
1.均值E(X) (1)E(X)=ΣX/n (2)E(X±a)=E(X)±a (3)E(aX)=aE(X) (4)E(X±Y)=E(X)±E(Y) (5)E(XY)=E(X)E(Y) 2.方差D(X) ...
期望、方差、协方差和协方差矩阵
一.期望 1.离散随机变量的X的数学期望: E(X)=∑k=1∞xkpkE(X) = \sum_{k=1}^{\infty}x_kp_kE(X)=k=1∑∞xkpk 2.连续型随机变量X的数学期 ...
方差、协方差、协方差矩阵以及互相关矩阵
目录 1.方差和协方差 2.从方差/协方差到协方差矩阵 3.互相关矩阵 1.方差和协方差在统计学中,方差是用来度量单个随机变量的离散程度,而协方差一般是用来度量两个随机变量的相似程度,其中方差的 ...
关于方差、协方差、协方差矩阵的概念及意义
期望离散型随机变量的一切可能的取值xi与对应的概率Pi(=xi)之积的和称为该离散型随机变量的数学期望(设级数绝对收敛),记为 E(x).随机变量最基本的数学特征之一.它反映随机变量平均取值的大小, ...
【概率与统计】---均方误差，方差，协方差，协方差矩阵
一,均方误差个人理解:平均的平方的误差值,即,误差的平方的期望值(误差就是每个估计值与真实值的差):换句话说,也就是多个样本的时候,均方误差等于每个样本的误差平方再乘以该样本出现的概率的和. 二.方 ...

方差var、协方差cov、协方差矩阵（浅谈）

方差var、协方差cov、协方差矩阵（浅谈）相关推荐

最新文章

热门文章