统计学习

前言

最近在做信号处理感觉理论掌握的不够扎实，开始了重新的补习，提高自己的知识水平。
在概率论和统计学中，协方差和相关性的数学概念非常相似。它们用近似的方式度量了两个随机变量或者一组随机变量偏离自己期望值的趋势的程度。

协方差和相关性

如果X和Y是两个随机变量，它们的均值（期望值）是μXμX\mu X ,μYμY\mu Y,同时它们的标准差是
σXσX\sigma X 以及 σYσY\sigma Y,分别地，它们的协方差和相关性可以通过以下式子计算：

covariancecovariancecovariance σXY=E[(X−μX)(Y−μY)]σXY=E[(X−μX)(Y−μY)] σ _{ X Y} = E [ ( X − μ_ X ) ( Y − μ_Y ) ]

correlationcorrelationcorrelation ρXY=E[(X−μX)(Y−μY)]/(σXσY)ρXY=E[(X−μX)(Y−μY)]/(σXσY)ρ_ {X Y} = E [ ( X − μ_X ) ( Y − μ_Y ) ] / ( σ _X σ_Y )

因此：

covXY=σXY=ρXYσXσYcovXY=σXY=ρXYσXσY{\displaystyle {\text{cov}}_{XY}=\sigma _{XY}=\rho _{XY}\sigma _{X}\sigma _{Y}}

其中E代表求期望,特别地，相关性是无量纲的，而协方差的单位是将两个变量的单位相乘。

如果Y的值和X的值一直都是相同的，我们将会得到一个变量自身的协方差
(i.e.σXX)(i.e.σXX) (i.e. {\displaystyle \sigma _{XX}} )也就是通常意义上讲的方差，一般简写为 σX2σX2σ X ^2,
也就是标准差的平方。
一个变量自身的相关性永远是1（除了在退化的情况下，这个情况下，X是一个常量，因此两个变量的方差都是0，也因此相关性计算中会涉及除数为0的情况，也因此相关性并不存在）。
更通俗地说，两个变量间的相关性会是1（或者-1），如果它们中的一个是另一个通过一个具有正斜率（或者负斜率）的线性函数得到的。

虽然从理论上协方差的值和相关性的值通过上述方式联系在了一起，但这些统计量的样本估计的概率分布并没有以任何简单的方式关联，因此它们通常需要分开处理。

多重随机变量

对于任意数量超过1的随机变量，可以将随机变量堆积成一个随机向量，其第i个元素是第i个随机变量。然后，可以将方差和协方差放置在协方差矩阵中，其中（i，j）元素是第i个随机变量和第j个随机变量之间的协方差。同样，相关性指标可以放置在相关矩阵中。

时间序列分析

对于一个满足宽平稳过程条件的时间序列，即它的均值和方差都是平稳的（不随着时间变化）
(E(Xn+m)=E(Xn)=μX和var(Xn+m)=var(Xn)并且这同样对于Y也成立).(E(Xn+m)=E(Xn)=μX和var(Xn+m)=var(Xn)并且这同样对于Y也成立). (E(Xn+m) = E(Xn) = μX 和 var(Xn+m) = var(Xn) 并且这同样对于Y 也成立).

在这个情况下，互协方差和互相关性是随着时间变化的函数：
cross−covarianceσXY(m)=E[(Xn−μX)(Yn+m−μY)],cross−covarianceσXY(m)=E[(Xn−μX)(Yn+m−μY)],cross-covariance {\displaystyle \sigma _{XY}(m)=E[(X_{n}-\mu _{X})\,(Y_{n+m}-\mu _{Y})],}
cross−correlationρXY(m)=E[(Xn−μX)(Yn+m−μY)]/(σXσY).cross−correlationρXY(m)=E[(Xn−μX)(Yn+m−μY)]/(σXσY).cross-correlation {\displaystyle \rho _{XY}(m)=E[(X_{n}-\mu _{X})\,(Y_{n+m}-\mu _{Y})]/(\sigma _{X}\sigma _{Y}).}

如果Y和X是同一个随机过程，以上的表达式则被叫做自协方差和自相关性。

autocovariance σXX(m)=E[(Xn−μX)(Xn+m−μX)],σXX(m)=E[(Xn−μX)(Xn+m−μX)],σ X X ( m ) = E [ ( X n − μ X ) ( X n + m − μ X ) ] ,
σXX(m)=E[(Xn−μX)(Xn+m−μX)],σXX(m)=E[(Xn−μX)(Xn+m−μX)], {\displaystyle \sigma _{XX}(m)=E[(X_{n}-\mu _{X})\,(X_{n+m}-\mu _{X})],}
autocorrelation ρXX(m)=E[(Xn−μX)(Xn+m−μX)]/(σ2X).ρXX(m)=E[(Xn−μX)(Xn+m−μX)]/(σX2). {\displaystyle \rho _{XX}(m)=E[(X_{n}-\mu _{X})\,(X_{n+m}-\mu _{X})]/(\sigma _{X}^{2}).}

参考：
wikepedia

统计学习：协方差和相关性相关推荐

统计学习导论 Chapter8 -- Tree-Based Methods
Book: An Introduction to Statistical Learning with Applications in R http://www-bcf.usc.edu/~gareth/ ...
统计学习导论 Chapter2--What Is Statistical Learning?
Book: An Introduction to Statistical Learning with Applications in R http://www-bcf.usc.edu/~gareth/ ...
统计学习导论：基于R应用——第二章习题
目前在看统计学习导论:基于R应用,觉得这本书非常适合入门,打算把课后习题全部做一遍,记录在此博客中. 第二章习题 1. (a) 当样本量n非常大,预测变量数p很小时,这样容易欠拟合,所以一个光滑度更高 ...
UA MATH574M 统计学习II 高维数据的二元分类
UA MATH574M 统计学习II 高维数据的二元分类 LDA的直观解释 NSC 上一讲提到了高维数据相比低维数据的特殊性,并介绍了处理高维数据二元分类最简单的一个模型independent rul ...
UA MATH574M 统计学习II 二元分类例子与高维问题
UA MATH574M 统计学习II 二元分类例子与高维问题数值例子高维数据的二分类问题 Independence Rule 数值例子用模拟数值做一个二分类的例子. library(MASS)# ...
UA MATH574M 统计学习II 二元分类
UA MATH574M 统计学习II 二元分类基础基础模型 Bayes分类器均等成本不等成本线性概率模型线性分类器线性判别分析(LDA) Logistics回归基础模型假设一个二元分类 ...
【统计学习系列】多元线性回归模型（五）——参数与模型的显著性检验：t检验与F检验
文章目录 1. 前文回顾 2. 单参数显著性检验--t检验 2.1 问题的提出 2.2 检验统计量--t统计量的构造 2.3 拒绝域的构造 2.4 浅谈p值 3. 回归方程显著性检验--F检验 3.1 ...
统计学习导论（ISLR）（三）：线性回归（超详细介绍）
统计学习导论(ISLR) 参考资料: The Elements of Statistical Learning An Introduction to Statistical Learning 统计学习 ...
机器学习和统计学习的区别：10个统计分析方法
来源:THU数据派(ID:datapi) 无论你在数据科学中是何种立场,你都无法忽视数据的重要性,数据科学家的职责就是分析.组织和应用这些数据. 著名求职网站 Glassdoor 根据庞大的就业数据和 ...

统计学习：协方差和相关性

统计学习

前言

协方差和相关性

多重随机变量

时间序列分析

统计学习：协方差和相关性相关推荐

最新文章

热门文章