详解协方差与协方差矩阵

协方差的定义

对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。网上值得参考的资料也不多，这里用一个例子说明协方差矩阵是怎么计算出来的吧。

记住，X、Y是一个列向量，它表示了每种情况下每个样本可能出现的数。比如给定

则X表示x轴可能出现的数，Y表示y轴可能出现的。注意这里是关键，给定了4个样本，每个样本都是二维的，所以只可能有X和Y两种维度。所以

用中文来描述，就是：

协方差(i,j)=（第i列的所有元素-第i列的均值）*（第j列的所有元素-第j列的均值）

这里只有X,Y两列，所以得到的协方差矩阵是2x2的矩阵，下面分别求出每一个元素：

所以，按照定义，给定的4个二维样本的协方差矩阵为：

用matlab计算这个例子

z=[1,2;3,6;4,2;5,2]

cov(z)

ans =

2.9167 -0.3333

-0.3333 4.0000

可以看出，matlab计算协方差过程中还将元素统一缩小了3倍。所以，协方差的matlab计算公式为：

协方差(i,j)=（第i列所有元素-第i列均值）*（第j列所有元素-第j列均值）/（样本数-1）

下面在给出一个4维3样本的实例，注意4维样本与符号X,Y就没有关系了，X,Y表示两维的，4维就直接套用计算公式，不用X,Y那么具有迷惑性的表达了。

（3）与matlab计算验证

Z=[1 2 3 4;3 4 1 2;2 3 1 4]

cov(Z)

ans =

1.0000 1.0000 -1.0000 -1.0000

-1.0000 -1.0000 1.3333 0.6667

-1.0000 -1.0000 0.6667 1.3333

可知该计算方法是正确的。我们还可以看出，协方差矩阵都是方阵，它的维度与样本维度有关（相等）。参考2中还给出了计算协方差矩阵的源代码，非常简洁易懂，在此感谢一下!

参考：

[1] http://en.wikipedia.org/wiki/Covariance_matrix

[2] http://www.cnblogs.com/cvlabs/archive/2010/05/08/1730319.html

详解协方差与协方差矩阵相关推荐

详解协方差与协方差矩阵计算
协方差的定义对于一般的分布,直接代入E(X)之类的就可以计算出来了,但真给你一个具体数值的分布,要计算协方差矩阵,根据这个公式来计算,还真不容易反应过来.网上值得参考的资料也不多,这里用一个例子说明 ...
协方差、协方差矩阵的解释意义
此文章转载自别人的博客,可是他的博客关闭了,缅怀一下吧: 统计里最基本的概念就是样本的均值,方差,或者再加个标准差.首先我们给你一个含有n个样本的集合依次给出这些概念的公式描述,这些高中学过数学的孩 ...
期望、方差、协方差、协方差矩阵
原期望.方差.协方差和协方差矩阵 2018年06月07日 17:10:58 siucaan 阅读数:6231 </div><div class="operating&qu ...
期望、方差、协方差和协方差矩阵
一.期望 1.离散随机变量的X的数学期望: E(X)=∑k=1∞xkpkE(X) = \sum_{k=1}^{\infty}x_kp_kE(X)=k=1∑∞xkpk 2.连续型随机变量X的数学期 ...
协方差矩阵数学原理，numpy计算协方差矩阵(np.cov)函数详解与源码剖析
协方差矩阵详解以及numpy计算协方差矩阵(np.cov) 协方差矩阵详解均值,标准差与方差由简单的统计学基础知识,我们有如下公式: X ˉ = ∑ i = 1 n X i n \bar X{\r ...
lda 协方差矩阵_线性判别分析LDA详解
1 Linear Discriminant Analysis 相较于FLD(Fisher Linear Decriminant),LDA假设:1.样本数据服从正态分布,2.各类得协方差相等.虽然这些在 ...
【人脸识别】人脸验证算法Joint Bayesian详解及实现（Python版）
人脸验证算法Joint Bayesian详解及实现(Python版) Tags: JointBayesian DeepLearning Python 本博客仅为作者记录笔记之用,不免有很多细节不对之处 ...
[Python从零到壹] 十一.数据分析之Numpy、Pandas、Matplotlib和Sklearn入门知识万字详解(1)
欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...
主成分分析（PCA）原理详解 2016/12/17 · IT技术 · 主成分分析, 数学分享到： 21 原文出处：中科春哥一、PCA简介 1. 相关背景主成分分析（Principa
主成分分析(PCA)原理详解 2016/12/17 · IT技术 · 主成分分析, 数学分享到:21 原文出处: 中科春哥一.PCA简介 1. 相关背景主成分分析(Principal Co ...

详解协方差与协方差矩阵

详解协方差与协方差矩阵相关推荐

最新文章

热门文章