文章目录

1 前言
2 数学期望(均值)、方差，矩、协方差和相关系数
- 2.1 数学期望(均值)
- 2.2 方差
- 2.3 协方差
- 2.4 相关系数
- 2.5 矩

1 前言

随机变量的分布函数完整地描述了随机变量取值的统计规律，然而在一些实际问题中要确定某些随机变量的分布函数却是非常困难的，有时甚至是不可能的。不过在一些实际的问题中，并不需要完整、全面地考察随机变量的统计规律，而只需要直到它的某些特征。随机变量常用的数字特征有：数学期望((均值)方差，矩、协方差和相关系数

数学期望描述了随机变量的平均取值，其完全取决于随机变量的分布情况。方差描述了随机变量的取值与其数学期望的偏离程度。对于多维随机变量的情况，协方差与相关系数刻画了每个随机变量的相关性。
更一般的随机变量的数字特征称为“矩”，数学期望是一阶原点矩；方差是二阶中心矩；协方差是二阶混合中心距。通过矩，可以定义协方差矩阵，简化多维随机变量的概率密度函数的处理。

2 数学期望(均值)、方差，矩、协方差和相关系数

下面考虑的是各个数字特征都存在的情况。

2.1 数学期望(均值)

离散型随机变量的数学期望：

设XXX为离散型随机变量，其分布律为P(X=xk)=pk，k=0,1,2,...P(X=x_k)=p_k，k=0,1,2,...P(X=xk)=pk，k=0,1,2,...。则离散型随机变量XXX的数学期望(均值)为：
E(X)=∑k=0∞xkpkE(X)=\sum_{k=0}^{\infty} x_{k} p_{k}E(X)=k=0∑∞xkpk

连续型随机变量的数学期望：

设XXX为连续型随机变量，其概率密度函数为f(x)f(x)f(x)。则连续型随机变量XXX的数学期望(均值)为：
E(X)=∫−∞∞xf(x)dxE(X)=\int_{-\infty}^{\infty} x f(x) \mathrm{d} xE(X)=∫−∞∞xf(x)dx

随机变量函数的数学期望：
设Y=g(X)Y=g(X)Y=g(X)为随机变量XXX的函数。
（1）若XXX是离散型随机变量，其分布律为P(X=xk)=pk，k=0,1,2,...P(X=x_k)=p_k，k=0,1,2,...P(X=xk)=pk，k=0,1,2,...，则离散型随机变量的函数YYY的期望为：
E(Y)=E[g(X)]=∑k=0∞g(xk)pkE(Y)=E[g(X)]=\sum_{k=0}^{\infty} g\left(x_{k}\right) p_{k}E(Y)=E[g(X)]=k=0∑∞g(xk)pk

（2）若XXX是连续型随机变量，其概率密度为f(x)f(x)f(x)，则连续型随机变量的函数YYY的期望为：
E(Y)=E[g(X)]=∫−∞∞g(x)f(x)dxE(Y)=E[g(X)]=\int_{-\infty}^{\infty} g(x) f(x) \mathrm{d} xE(Y)=E[g(X)]=∫−∞∞g(x)f(x)dx

对于多维度的情况，比如令Z=g(X，Y)Z=g(X，Y)Z=g(X，Y)为二维随机变量(X，Y)(X，Y)(X，Y)的函数。

（1）若 (X，Y)(X，Y)(X，Y) 是二维离散型随机变量，分布律为P(X=xi,Y=yi)=pij,i,j=0,1,2,...P(X=x_i,Y=y_i)=p_{ij},i,j=0,1,2,...P(X=xi,Y=yi)=pij,i,j=0,1,2,...，则有：
E(Z)=E[g(X,Y)]=∑j=0∞∑i=0∞g(xi,yi)pijE(Z)=E[g(X, Y)]=\sum_{j=0}^{\infty} \sum_{i=0}^{\infty} g\left(x_{i}, y_{i}\right) p_{i j}E(Z)=E[g(X,Y)]=j=0∑∞i=0∑∞g(xi,yi)pij

（2）若 (X，Y)(X，Y)(X，Y) 是二维连续型随机变量，其概率密度函数为f(x,y)f(x,y)f(x,y)，则有：
E(Z)=E[g(X,Y)]=∫−∞∞∫−∞∞g(x,y)f(x,y)dxdyE(Z)=E[g(X, Y)]=\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x, y) f(x, y) d x d y E(Z)=E[g(X,Y)]=∫−∞∞∫−∞∞g(x,y)f(x,y)dxdy
数学期望的性质：

（1）设 CCC是常数，则E(C)=CE(C)=CE(C)=C

（2）设CCC是常数，XXX是一个随机变量，则有E(CX)=CE(X)E(CX)=CE(X)E(CX)=CE(X)

（3）设X，YX，YX，Y是两个随机变量，则有E(X+Y)=E(X)+E(Y)E(X+Y)=E(X)+E(Y)E(X+Y)=E(X)+E(Y)可以推广到任意多个随机变量的情形，比如对于nnn个随机变量X1,X2,...,XnX_1,X_2,...,X_nX1,X2,...,Xn，有：

E(X1+X2+...+Xn)=E(X1)+E(X2)+...+E(Xn)E(X_1+X_2+...+X_n)=E(X_1)+E(X_2)+...+E(X_n)E(X1+X2+...+Xn)=E(X1)+E(X2)+...+E(Xn)

再结合（1）（2），有：
E(k1X1+k2X2+...+knXn+c)=k1E(X1)+k2E(X2)+...+knE(Xn)+CE(k_1X_1+k_2X_2+...+k_nX_n+c)=k_1E(X_1)+k_2E(X_2)+...+k_nE(X_n)+CE(k1X1+k2X2+...+knXn+c)=k1E(X1)+k2E(X2)+...+knE(Xn)+C
其中k1,k2，...，knk_1,k_2，...，k_nk1,k2，...，kn以及CCC为任意常数

（4）设X，YX，YX，Y是相互独立的随机变量，则有E(XY)=E(X)E(Y)E(XY)=E(X)E(Y)E(XY)=E(X)E(Y)，可以推广到任意多个随机变量的情形，比如对于nnn个相互独立的随机变量X1,X2,...,XnX_1,X_2,...,X_nX1,X2,...,Xn，有：

E(X1,X2,...,Xn)=E(X1)E(X2)...E(Xn)E(X_1,X_2,...,X_n)=E(X_1)E(X_2)...E(X_n)E(X1,X2,...,Xn)=E(X1)E(X2)...E(Xn)

2.2 方差

设XXX是一个随机变量，其方差为：
D(X)=E([X−E(X)]2)D(X)=E([X-E(X)]^{2})D(X)=E([X−E(X)]2)
D(X)\sqrt{D(X)}D(X)称为XXX的标准差或均方差。

随机变量XXX的方差反应了XXX的取值与其数学期望的偏离程度。若方差较小，则XXX的取值较集中；否则，XXX的取值就比较分散。因此，方差D(X)D(X)D(X)是刻画XXX取值分散程度的一个量。

方差本质上是随机变量XXX的函数g(X)=(X−E(X))2g(X)=(X-E(X))^{2}g(X)=(X−E(X))2的期望。

（1）若XXX为离散型随机变量，其分布律为P(X=xk)=pk，k=0,1,...P(X=x_k)=p_k，k=0,1,...P(X=xk)=pk，k=0,1,...，则
D(X)=∑k=0∞[xk−E(x)]2pkD(X)=\sum_{k=0}^{\infty}[x_k-E(x)]^2p_kD(X)=k=0∑∞[xk−E(x)]2pk

（2）若XXX为离散型随机变量，其概率密度为f(x)f(x)f(x)，则：

D(X)=∫−∞∞[x−E(X)]2f(x)dxD(X)=\int_{-\infty}^{\infty}[x-E(X)]^{2} f(x) \mathrm{d} x D(X)=∫−∞∞[x−E(X)]2f(x)dx

另外，方差还可以这样算：
D(X)=E{[X−E(X)]2}=E{X2−2XE(X)+[E(X)]2}=E(X2)−2E(X)E(X)+[E(X)]2=E(X2)−[E(X)]2\begin{aligned}D(X) &=E\left\{[X-E(X)]^{2}\right\}=E\left\{X^{2}-2 X E(X)+[E(X)]^{2}\right\} \\&=E\left(X^{2}\right)-2 E(X) E(X)+[E(X)]^{2} \\&=E\left(X^{2}\right)-[E(X)]^{2}\end{aligned}D(X)=E{[X−E(X)]2}=E{X2−2XE(X)+[E(X)]2}=E(X2)−2E(X)E(X)+[E(X)]2=E(X2)−[E(X)]2

方差的性质：
（1）设CCC是一个常数，则D(C)=0D(C)=0D(C)=0；

（2）D(X)=0⇔P{X=E(X)}=1D(X)=0 \Leftrightarrow P\{X=E(X)\}=1D(X)=0⇔P{X=E(X)}=1

（3）设CCC是一个随机变量，a，ba，ba，b为常数，则有D(aX+b)=a2D(X)D(aX+b)=a^2D(X)D(aX+b)=a2D(X)

（4）若X,YX,YX,Y相互独立，则D(X±Y)=D(X)+D(Y)D(X \pm Y)=D(X)+D(Y)D(X±Y)=D(X)+D(Y)，反之不成立。

结合（3）和（4），若X1,X2,...,XnX_1,X_2,...,X_nX1,X2,...,Xn相互独立，则有：
D(k1X1+k2X2+⋯+knXn)=k12D(X1)+k22D(X2)+⋯+kn2D(Xn)D\left(k_1X_{1}+k_2X_{2}+\cdots+k_nX_{n}\right)=k_1^2D\left(X_{1}\right)+k_2^2D\left(X_{2}\right)+\cdots+k_n^2D\left(X_{n}\right)D(k1X1+k2X2+⋯+knXn)=k12D(X1)+k22D(X2)+⋯+kn2D(Xn)

2.3 协方差

设(X,Y)(X,Y)(X,Y)是一个二维随机变量，随机变量XXX和YYY的协方差为：
Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}
若(X,Y)(X,Y)(X,Y)是离散型随机变量，其分布律为P(X=xi，Y=yi)=pij，i,j=1,2,...P(X=x_i，Y=y_i)=p_{ij}，i,j=1,2,...P(X=xi，Y=yi)=pij，i,j=1,2,...，则
Cov(X,Y)=∑i=1∞∑j=1∞[xi−E(X)][yj−E(Y)]pijCov(X,Y)=\sum_{i=1}^{\infty}\sum_{j=1}^{\infty}[x_i-E(X)][y_j-E(Y)]p_{ij}Cov(X,Y)=i=1∑∞j=1∑∞[xi−E(X)][yj−E(Y)]pij

若(X,Y)(X,Y)(X,Y)是连续型随机变量，其概率密度为f(x,y)f(x,y)f(x,y)，则：

Cov(X,Y)=∫−∞+∞∫−∞+∞[x−E(X)][y−E(Y)]f(x,y)dxdyCov(X,Y)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}[x-E(X)][y-E(Y)]f(x,y)dxdyCov(X,Y)=∫−∞+∞∫−∞+∞[x−E(X)][y−E(Y)]f(x,y)dxdy
另外，方差还可以这样算：
Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}=E{XY−XE(Y)−YE(X)+E(X)E(Y)}=E(XY)−E(X)E(Y)−E(Y)E(X)+E(X)E(Y)=E(XY)−E(X)E(Y)Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}\\=E\{XY-XE(Y)-YE(X)+E(X)E(Y)\}\\=E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y)\\=E(XY)-E(X)E(Y)Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}=E{XY−XE(Y)−YE(X)+E(X)E(Y)}=E(XY)−E(X)E(Y)−E(Y)E(X)+E(X)E(Y)=E(XY)−E(X)E(Y)

协方差的性质
（1）Cov⁡(X,X)≡D(X)\operatorname{Cov}(X, X) \equiv D(X)Cov(X,X)≡D(X)
（2）Cov⁡(Y,X)=Cov⁡(X,Y)\operatorname{Cov}(Y, X)=\operatorname{Cov}(X, Y)Cov(Y,X)=Cov(X,Y)
（3）CCC是一个常数，XXX是一个随机变量，则有Cov(X,C)=0Cov(X,C)=0Cov(X,C)=0
（4）a,ba,ba,b为常数时，Cov⁡(aX,bY)=abCov⁡(X,Y)\operatorname{Cov}(a X, b Y)=a b \operatorname{Cov}(X, Y)Cov(aX,bY)=abCov(X,Y)

（5）
Cov⁡(X1±X2,Y)=Cov⁡(X1,Y)±Cov⁡(X2,Y)\operatorname{Cov}\left(X_{1} \pm X_{2}, Y\right)=\operatorname{Cov}\left(X_{1}, Y\right) \pm \operatorname{Cov}\left(X_{2}, Y\right)Cov(X1±X2,Y)=Cov(X1,Y)±Cov(X2,Y)
一般地，

Cov⁡(∑i=1maiXi,∑j=1nbjYj)=∑i=1m∑j=1naibjCov⁡(Xi,Yj).\operatorname{Cov}\left(\sum_{i=1}^{m} a_{i} X_{i}, \sum_{j=1}^{n} b_{j} Y_{j}\right)=\sum_{i=1}^{m} \sum_{j=1}^{n} a_{i} b_{j} \operatorname{Cov}\left(X_{i}, Y_{j}\right) .Cov(i=1∑maiXi,j=1∑nbjYj)=i=1∑mj=1∑naibjCov(Xi,Yj).

（6）
D(X±Y)=D(X)+D(Y)±2Cov⁡(X,Y)D(X \pm Y)=D(X)+D(Y) \pm 2 \operatorname{Cov}(X, Y)D(X±Y)=D(X)+D(Y)±2Cov(X,Y)
推广到任意有限多个随机变量之和的情形：
D(∑i=1nXi)=∑i=1nD(Xi)+2∑1≤i<j≤nCov(Xi,Xj)D(\sum_{i=1}^{n}X_i)=\sum_{i=1}^{n}D(X_i)+2\sum_{1\le i\lt j\le n}Cov(X_i,X_j)D(i=1∑nXi)=i=1∑nD(Xi)+21≤i<j≤n∑Cov(Xi,Xj)

2.4 相关系数

2.5 矩

kkk阶原点矩

E(Xk)E(X^k)E(Xk)，当k=1k=1k=1时即为数学期望

kkk阶中心矩

E{[X−E(X)]k}E\left\{[X-E(X)]^{k}\right\}E{[X−E(X)]k}，当k=2k=2k=2时即为方差，当k=1k=1k=1时，E[X−E(X)]=0E[X-E(X)]=0E[X−E(X)]=0

k+lk+lk+l阶混合矩

E(XkYl),E{[X−E(X)]k[Y−E(Y)]l}E\left(X^{k} Y^{l}\right), E\left\{[X-E(X)]^{k}[Y-E(Y)]^{l}\right\}E(XkYl),E{[X−E(X)]k[Y−E(Y)]l}

参考：
[1]https://zhuanlan.zhihu.com/p/343367455

[2]概率统计与随机过程孔告化

数学期望(均值)、方差、协方差、相关系数和矩相关推荐

数学期望，方差，标准差，样本方差，协方差，相关系数概念扫盲
数学期望在概率论和统计学中,数学期望(mean)(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和,是最基本的数学特征之一.它反映随机变量平均取值的大小. 再举个例子理解一下数学期望: ...
几何分布的期望和方差公式推导_数学期望、方差、协方差
概论: 一维随机变量期望与方差二维随机变量期望与方差协方差 1.一维随机变量期望与方差: 公式: 离散型: E(X)=∑i=1->nXiPi Y=g(x) E(Y)=∑i=1->ng( ...
概率论基础（7）数学期望、方差、协方差、切比雪夫不等式
概率论对于学习 NLP 方向的人,重要性不言而喻.于是我打算从概率论基础篇开始复习,也顺便巩固巩固基础. 这是基础篇的第七篇知识点总结基础:下面前六篇的链接地址: 概率论基础(1)古典和几何概型及事 ...
概率论由相关性求数学期望和方差的公式_概率论与数理统计（马涛）第4章——数学期望与方差.ppt...
§3. 协方差及相关系数一定义设 X,Y 是两个随机变量, 称为随机变量 X,Y 的协方差. 并称注 1. 为随机变量 X,Y 的相关系数. 2. 是一个无量纲的量: 3. 若 , 则称 X ...
二维随机向量的数学期望E与协方差σ
目录 1. 二维随机向量(X,Y)的数学期望EX, EY 2. 二维随机向量函数z=g(X,Y)的数学期望EZ 3. 二维随机向量(X,Y)的方差DX, DY 4. 二维随机向量的性质(和.积的数学期 ...
几何分布的期望和方差公式推导_超几何分布的数学期望与方差推导
考虑个外表相同的物品,其中有个同类物品与另一类的个物品:抽取个物品,每个物品的抽取等概率随机. 上述便是一个超几何分布(Hypergeometric Distribution)的基本模型. 抽 ...
013 数学期望及方差计算习题
013 数学期望及方差计算习题
011 数学期望、方差及方差性质
011 数学期望.方差及方差性质
概率统计：数学期望、方差、协方差、相关系数、矩
一 .数学期望(均值): 在概率论和统计学中,数学期望(mean)(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和.是最基本的数学特征之一.它反映随机变量平均取值的大小.其公式如下: ...

数学期望(均值)、方差、协方差、相关系数和矩