什么是协方差(covariance)？（延伸到协方差矩阵、多元高斯分布、PCA）

2024-06-09 04:56:51

协方差(covariance )是一个统计量，是对一个样本的某一统计特性给出的一个估算量。

常见统计量

均值估算的是样本集合的平均水平。

方差估算的是样本集合的散布度，单元维度偏离其均值的程度。

那协方差(covariance)呢？

如果是一维样本不存在协方差(covariance)，

如果是二维（多维）样本呢？比如统计多个学科的考试成绩。

仿照方差的定义：

来度量各个维度偏离其均值的程度，协方差(covariance)可以这么来定义：

直觉理解一下就是：如果有X,Y两个变量，每个时刻(或点)的“X值与其均值之差”乘以“Y值与其均值之差”得到一个乘积，再对这每时刻的乘积求和并求出均值（其实是求“期望”，但就不引申太多新概念了，简单认为就是求均值了）。

可以通俗的理解为：两个变量在变化过程中是同方向变化？还是反方向变化？同向或反向程度如何？你变大，同时我也变大，说明两个变量是同向变化正相关的，这时协方差就是正的。

从数值来看，协方差的数值越大，两个变量同向（正相关）程度也就越大。反之亦然。

还有一个就是协方差矩阵（Covariance matrix）

定义如下：

应用：多维度高斯分布

多维高斯分布里面有两个参数，

一个是 $\mu$ ，可以用所以样本的均值来估计，代表总体数据的平均值。

一个是 $\sum$ ，就是前面的协方差矩阵，代表不同维度的相关联程度。

应用：PCA主成分析

本质上是找一个更低维度的表面（空间），使得投影到这个表面的数据与原数据之间的误差（距离）最小。

实现算法：

$\sum$ is Sigma is 协方差矩阵，是nxn方阵，在经过了normalization之后求得的Sigma，本质上代表了数据集n个维度的相互关系。

在经过svd分解之后，我们主要用的是U，因为根据彻底理解SVD奇异值分解，我们知道U的列向量是 Col（ $\sum$ ）的一组标准正交基。

还有，U的列向量是从左到右，重要性逐步降低的，所以要降到k维，只需要取U的前k个列向量，这样就把原来n维的坐标系，降到了k维单位正交的坐标系。

而新的数据集的值则可以表示为：

什么是协方差(covariance)？（延伸到协方差矩阵、多元高斯分布、PCA）相关推荐

协方差Covariance 相关系数correlation coefficient 和方差-协方差矩阵variance-covariance matrix
一协方差 Covariance 协方差一般刻画两个随机变量的相似程度.方差是协方差的一种特殊情况,即当两个变量是相同的情况.计算公式如下. 取值范围 R域当协方差Cov(X,Y)>0时,称X与 ...
协方差、样本协方差、协方差矩阵、相关系数详解（python代码）
对于一个随机变量的分布特征,可以由均值.方差.标准差等进行描述.而对于两个随机变量的情况,有协方差和相关系数来描述两个随机变量的相互关系. 本文主要参考概率论与数理统计的教科书,整理了协方差.样本协方 ...
5. 统计学基础2：协方差、相关系数、协方差矩阵
文章目录 1. 协方差 2. 相关系数[就是使 |协方差|<=1] 3. 协方差矩阵 1. 协方差标准差和方差一般是用来描述一维数据的, 具体介绍见:5. 统计学基础1:平均值-四分位数.方差 ...
用计算机算协方差,协方差(Covariance)计算公式与在线计算器_三贝计算网_23bei.com...
在输入框录入用空格.制表符.回车符或(英文半角)逗号隔开的数据序列X和数据序列Y,点击计算按钮,本计算软件将快速求出输入序列元素的个数.平均值Mx.平均值My.协方差(X,Y)等结果. 操作步骤:直接 ...
概率论-协方差Covariance相关系数Correlation Coefficient
目录协方差Covariance 定义性质相关系数Correlation Coefficient 定义性质独立和相关相关公式协方差Covariance 定义定义:Gov(X,Y)=E[( ...
多元高斯分布是非参_多元高斯分布（多元正态分布）简介
多元高斯分布(多元正态分布)简介标签:#正态分布##统计基础##高斯分布# 时间:2017-01-28 23:02:43 作者:小木高斯分布(Gaussian Distribution),也称作是 ...
多元高斯分布（Multivariate Gaussian Distribution）（详细说明，便于理解）
在深入了解多元高斯分布前,可以先了解一下一元高斯分布. 接下来对多元高斯分布进行详细的说明与推导. 对于维的向量 (连续变量),多变量(多元, multivariate Gaussian)高斯分布形 ...
多元高斯分布中条件分布与边缘分布的相关公式
在阅读高斯过程(GPs)时,我认为能够证明有关多元高斯分布的一些基本事实将是有用的,这些高斯分布是GP的基础. 即,如何证明多元高斯的条件分布和边际分布也是高斯,并给出其形式. 首先,我们知道,一个均 ...
一元高斯分布多元高斯分布高斯过程混合高斯模型
高斯分布,又称正态分布,应用于连续型随机变量分布的模型中,对于多元高斯分布存在和一元高斯相似的,对于多元实值向量,使熵取得最大值的是高斯分布.当多个随机变量之和相加时,根据拉普拉斯提出的中心极限定理( ...
第二课.多元高斯分布与其几何特征
目录多元高斯分布一元高斯与多元高斯多元高斯分布的参数二元高斯分布多元高斯分布的几何特征几何特征实例演示多元高斯分布一元高斯与多元高斯在第一课的一元高斯分布中,处理的是一组样本X=( ...

最新文章

热门文章