协方差Covariance

定义

定义：Gov(X,Y)=E[(X−EX)(Y−EY)]定义：Gov(X,Y) = E[(X-EX)(Y-EY)] 定义：Gov(X,Y)=E[(X−EX)(Y−EY)]
Gov(X,Y)=E(XY)−E(X)E(Y)Gov(X,Y)= E(XY)-E(X)E(Y)Gov(X,Y)=E(XY)−E(X)E(Y)
E(XY)=∫−∞+∞∫−∞+∞xyf(x,y)dxdyE(XY) = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}xyf(x,y)dxdyE(XY)=∫−∞+∞∫−∞+∞xyf(x,y)dxdy

可以看出，若X,Y相互独立，协方差为0.

ps.D(X±Y)=D(X)+D(Y)±2Cov(X,Y)D(X\pm Y) = D(X) +D(Y) \pm 2Cov(X,Y)D(X±Y)=D(X)+D(Y)±2Cov(X,Y)

性质

根据定义可证：

Cov(X,Y)=Coc(Y,X)Cov(X,Y) = Coc(Y,X)Cov(X,Y)=Coc(Y,X)
Cov(aX,bY)=abCov(X,Y)Cov(aX,bY) = abCov(X,Y)Cov(aX,bY)=abCov(X,Y)
Cov((X1+X2)Y)=Cov(X1,Y)+Cov(X2,Y)Cov((X_1+X_2)Y) = Cov(X_1,Y) + Cov(X_2,Y)Cov((X1+X2)Y)=Cov(X1,Y)+Cov(X2,Y)
Cov(C,Y)=0Cov(C,Y) = 0Cov(C,Y)=0，其实很好理解，常数和任何函数都不相关。
前面已经提到过的，若X,Y相互独立，协方差为0.

相关系数Correlation Coefficient

定义

在学习过协方差后，我们不难发现协方差可以用来衡量两个变量之间的某种联系，但是这种联系却受一个无关变量的影响，即变量的单位（量纲）！
为了消除这种影响，我们引入相关系数的概念：

标准化变量：
定义：X∗=X−EXDX,Y∗=Y−EYDY定义：X^* = \frac{X- EX}{\sqrt {DX}},Y^* = \frac{Y- EY}{\sqrt {DY}}定义：X∗=DXX−EX,Y∗=DYY−EY
现在X∗X^*X∗是一个与量纲无关的变量了。
Cov(X∗,Y∗)=E(X∗Y∗)−EX∗∗EY∗Cov(X^*,Y^*) = E(X^*Y^*) - EX^**EY^*Cov(X∗,Y∗)=E(X∗Y∗)−EX∗∗EY∗(后一项为0)化简得：
Cov(X∗,Y∗)=Cov(X,Y)DXDY=ρ，也就是相关系数。Cov(X^*,Y^*) = \frac{Cov(X,Y)}{\sqrt {DX}\sqrt {DY}} = \rho，也就是相关系数。Cov(X∗,Y∗)=DXDYCov(X,Y)=ρ，也就是相关系数。
（如果方差为0怎么办？）

相关系数衡量了X和Y的相关性。

性质

相关系数与协方差同正、同负、同0。
ρ≤1\rho \leq 1ρ≤1
证明：
只需证ρ2≤1,化简根据引理[E(XY)]2≤E(X2)E(Y2)即可证。只需证\rho^2 \leq 1,化简根据引理[E(XY)]^2 \leq E(X^2)E(Y^2)即可证。只需证ρ2≤1,化简根据引理[E(XY)]2≤E(X2)E(Y2)即可证。
若∣ρ∣=1⇔X与Y以1的概率呈线性关系。|\rho| = 1 \Leftrightarrow X与Y以1的概率呈线性关系。∣ρ∣=1⇔X与Y以1的概率呈线性关系。这句话比较难理解，其实就是X与Y呈线性关系的意思。
ρ=1\rho = 1ρ=1，X与Y完全正相关； ρ=−1\rho = -1ρ=−1，X与Y完全负相关。
ρ接近0\rho 接近0ρ接近0，X和Y的线性关系很弱； ρ=0\rho = 0ρ=0，则X和Y不存在线性关系。但并不绝对成立，举个反例：当Y=X2Y = X^2Y=X2时，ρ=0\rho = 0ρ=0，但X和Y显然是相关的。

独立和相关

独立一定不相关，不相关不一定独立。
独立一定不相关：若X Y独立，则E(XY)=EX∗EY，则ρ=0.E(XY) = EX*EY，则\rho = 0.E(XY)=EX∗EY，则ρ=0.
但如果是X和Y是二维正态分布，则独立与不相关等价。

概率论-协方差Covariance相关系数Correlation Coefficient相关推荐

协方差Covariance 相关系数correlation coefficient 和方差-协方差矩阵variance-covariance matrix
一协方差 Covariance 协方差一般刻画两个随机变量的相似程度.方差是协方差的一种特殊情况,即当两个变量是相同的情况.计算公式如下. 取值范围 R域当协方差Cov(X,Y)>0时,称X与 ...
相关系数 Correlation Coefficient 的理解
相关系数 Correlation Coefficient 这张图描绘的是电影的评分跟时间的关系,我们可以借助这样图通过三个步骤来解释相关系数.通过这三个步骤我们可以直观的判断相关系数的大小. 对数据进 ...
协方差(covariance)和相关系数(correlation coefficient)
相关系数和协方差实际上是相同的概念,都是用来描述两个随机变量之间的相似程度的.这篇文章将详细说明协方差和相关系数的相关知识. 首先声明,此篇的内容是来自"马同学高等数学"微信公众号 ...
09 协方差与相关系数
协方差下图即可说明何谓协方差,同时,引出相关系数的定义: 相关系数如上篇kd树blog所述相关系数 ( Correlation coefficient )的定义是: (其中,E为数学期望或均值,D ...
皮尔逊相关系数丨Pearson’s correlation coefficient
皮尔逊相关系数丨Pearson's correlation coefficient 皮尔逊相关系数丨Pearson's correlation coefficient 什么是相关系数相关系数与相关距 ...
皮尔森（Pearson correlation coefficient）相关系数—统计学三大相关系数之一
概述皮尔森相关系数也称皮尔森积矩相关系数(Pearson product-moment correlation coefficient) ,是一种线性相关系数,是最常用的一种相关系数.记为r,用来反 ...
【统计学】三大相关系数之皮尔逊相关系数（person correlation coefficient）
统计学中的三大相关性系数:pearson, spearman, kendall,他们反应的都是两个变量之间变化趋势的方向以及程度,其值范围为-1到+1. 0表示两个变量不相关,正值表示正相关,负值表示 ...
相关系数（correlation coefficient）是什么？相关的类型有哪些？有哪些常用的计算方法？不同形态的点分布与相关系数之间的关系？如何评判相关性的强弱？
相关系数(correlation coefficient)是什么?相关的类型有哪些?有哪些常用的计算方法?不同形态的点分布与相关系数之间的关系?如何评判相关性的强弱? pandas api: pand ...
ML之PPMCC：PPMCC皮尔逊相关系数(Pearson correlation coefficient)、Spearman相关系数的简介、案例应用之详细攻略
ML之PPMCC:PPMCC皮尔逊相关系数(Pearson correlation coefficient).Spearman相关系数的简介.案例应用之详细攻略目录 PPMCC皮尔逊相关系数的简介 ...

概率论-协方差Covariance相关系数Correlation Coefficient

目录

协方差Covariance

定义

性质

相关系数Correlation Coefficient

定义

性质

独立和相关

相关公式

概率论-协方差Covariance相关系数Correlation Coefficient相关推荐

最新文章

热门文章