机器学习的数学基础（一）—— 期望、方差、协方差与相关系数

2024-05-19 22:45:04

0. 期望与方差

期望：

E[aX+bY]=aE[X]+bE[Y]

E[aX+bY]=aE[X]+bE[Y]

方差：

D(aX+bY)=D(aX)+D(bY)+2cov(aX,bY)=a2D(X)+b2D(Y)+2abcov(X,Y)

D(aX+bY)=D(aX)+D(bY)+2\text{cov}(aX,bY)\\ =a^2D(X)+b^2D(Y)+2ab\:\text{cov}(X,Y)

D(aX+b)=a2D(X)

D(aX+b)=a^2D(X)

1. 协方差的定义及性质

期望值分别为 E[X]E[X] 和 E[Y]E[Y] 的两个实随机变量之间的协方差 cov(X,Y)\text{cov}(X,Y) 定义为：

cov(X,Y)==E[(X−E[X])(Y−E[Y])]E[XY]−E[X]E[Y]

\begin{split} \text{cov}(X,Y)=&E[(X-E[X])(Y-E[Y])]\\ =&E[XY]-E[X]E[Y] \end{split}

也即，协方差表达的是两个随机变量总体误差的期望；

基本性质：

（1）如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值；如果两个变量的变化趋势相反，即其中一个变量大于自身的期望值时另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
（2）如果X与Y是统计独立的，那么二者之间的协方差就是0，因为两个独立的随机变量满足E[XY]=E[X]E[Y]E[XY]=E[X]E[Y]。但是，反过来并不成立。即如果X与Y的协方差为0，二者并不一定是统计独立的。协方差为0的两个随机变量称为是不相关的。

独立一定不相关，不相关不一定独立；

cov(X,Y)=cov(Y,X)cov(aX,bY)=ab⋅cov(X,Y)cov(X1+X2,Y)=cov(X1,Y)+cov(X2,Y)

\begin{split} &\text{cov}(X,Y)=\text{cov}(Y,X)\\ &\text{cov}(aX,bY)=ab\cdot\text{cov}(X,Y)\\ &\text{cov}(X_1+X_2,Y)=\text{cov}(X_1,Y)+\text{cov}(X_2,Y) \end{split}

2. 协方差与方差的关系

D(X+Y)=D(X)+D(Y)+2cov(X,Y)D(X−Y)=D(X)+D(Y)−2cov(X,Y)

D(X+Y)=D(X)+D(Y)+2\text{cov}(X,Y)\\ D(X-Y)=D(X)+D(Y)-2\text{cov}(X,Y)

cov(X,X)=E[X2]−E[X]2=D(X)

\text{cov}(X,X)=E[X^2]-E[X]^2=D(X)

3. 相关系数

ρX,Y=cov(X,Y)σXσY

\rho_{X,Y}=\frac{\text{cov}(X,Y)}{\sigma_X\sigma_Y}

（1）ρX,Y=0\rho_{X,Y}=0，也即 cov(X,Y)=0\text{cov}(X,Y)=0，表示 XX 与 YY 不相关，也即 ρX,Y=0\rho_{X,Y}=0 的充分必要条件是 cov(X,Y)=0\text{cov}(X,Y)=0，也就不相关和协方差为 0是等价的；
（2）ρX,Y≤1\rho_{X,Y}\leq 1
（3）ρX,Y=1\rho_{X,Y}=1 的充分必要条件是 P(Y=aX+b)=1P(Y=aX+b)=1（也即二者线性相关）

机器学习的数学基础（一）—— 期望、方差、协方差与相关系数相关推荐

随机变量的期望方差协方差相关系数的性质
期望性质:E(C)=C,C为任意常数 E(aX+bY)=aE(X)+bE(Y) E(aX+C)=aE(X)+C X,Y独立 E(XY)=E(X)E(Y) 方差:D(X)=E(X*X)-E(X)*E(X ...
机器学习的数学基础 - 期望，方差与协方差
期望方差协方差
【概率论与数理统计】猴博士笔记 p36-37 协方差、相关系数、不相关、相互独立时的期望和方差
文章目录协方差.相关系数不相关.相互独立时的期望和方差协方差.相关系数接下来做几道例题,练习一下套公式: 例1: 解: 前4个就是简单的套公式: 第5个有点类似分配律: Cov(2X+3Y,4 ...
概率统计极简入门：通俗理解微积分/期望方差/正态分布前世今生(23修订版)
原标题:数据挖掘中所需的概率论与数理统计知识(12年首次发布,23年重编公式且反复改进) 修订背景本文初稿发布于12年年底,十年后的22年底/23年初ChatGPT大火,在写ChatGPT通俗笔记的 ...
python 相关系数矩阵_期望，方差，协方差，相关系数，协方差矩阵，相关系数矩阵，以及numpy实现...
1. 期望 2. 方差 3. 协方差和相关系数协方差(或者相关系数)如果是正的,表明X和Y之间同时增加或减小:如果是负的,表明X和Y之间有一个增加而另一个减小:如果它的值为0,则表明X和Y之间是独立 ...
随机变量的数字特征（数学期望，方差，协方差与相关系数）
戳这里:概率论思维导图 !!! 数学期望离散型随机变量的数学期望 (这里要求级数绝对收敛,若不绝对收敛,则E(X)不存在) 如果有绝对收敛,则有 ,其中连续型随机变量的数学期望 (这里要求绝对收敛 ...
期望、方差、标准差、协方差、相关系数、协方差矩阵、残差、残差平方和(SSE)、标准化残差，残差分析
通过学习,结合网络上搜索, 把相关概念整理了一下. 1.期望(均值.数学期望) 期望是度量数据的集中趋势的一个重要指标,是研究随机变量的一个重要数字特征离散型随机变量Xi,其对因的概率P(Xi) ...
期望、方差、协方差、相关系数理解
期望.方差.协方差.相关系数理解一.期望赌金分配问题: 有两个赌徒A和B,他们俩下赌金之后,约定谁先赢满5局,谁就获得全部赌金.对于有两个赌徒A和B,他们俩下赌金之后,约定谁先赢满5局,谁就获得全 ...
回归标准差和残差平方和的关系_期望、方差、标准差、协方差、相关系数、协方差矩阵、残差、残差平方和(SSE)、标准化残差，残差分析...
通过学习,结合网络上搜索, 把相关概念整理了一下. 1.期望(均值.数学期望) 期望是度量数据的集中趋势的一个重要指标,是研究随机变量的一个重要数字特征离散型随机变量Xi,其对因的概率P(Xi) ...
协方差公式性质证明过程_期望、方差、协方差及相关系数的基本运算
这篇文章总结了概率统计中期望.方差.协方差和相关系数的定义.性质和基本运算规则. 期望定义设P(x)P(x)是一个离散概率分布函数,自变量的取值范围为{x1,x2,⋯,xn}{x1,x2,⋯,xn ...

最新文章

热门文章