期望、方差、协方差性质总结与证明

本文力求涵盖较全面的性质，同时即便是最简单的性质本文也会给出证明。另外本文的内容有大量参考书本和网络上的相关知识，就不再一一列出来源。

记号和说明

本文将离散型随机变量简写为DRV（discrete random variable），将连续型随机变量简写为CRV（continuous random variable）。

X X X、 Y Y Y、 X 1 X_1 X1、 X 2 X_2 X2表示随机变量， c c c表示常数。

本文的无穷符号没有区分正无穷与负无穷，均用 ∞ \infty ∞表示，可以根据其在积分号中的位置自行判断。
此外，在介绍性质之前，本文没有对期望、方差等的定义进行介绍，但这也是需要在阅读本文之前了解的。

期望

性质1

对于常数 c c c， E ( c ) = c E(c)=c E(c)=c

证明

根据期望的基本定义， E ( c ) = c P ( X = c ) = c E(c)=cP(X=c)=c E(c)=cP(X=c)=c

性质2（线性性）

对于随机变量 X X X，常数 c c c， E ( a X + b ) = a E ( X ) + b E(aX+b)=aE(X)+b E(aX+b)=aE(X)+b

证明

若 X X X是DRV，根据期望的基本定义， E ( a X + b ) = ∑ i ( a x i + b ) P ( x i ) = a ∑ i x i P ( x i ) + b = a E ( X ) + b E(aX+b)=\sum_{i}^{}(ax_i+b)P(x_i)=a\sum_{i}^{}x_iP(x_i)+b=aE(X)+b E(aX+b)=∑i(axi+b)P(xi)=a∑ixiP(xi)+b=aE(X)+b

若 X X X是CRV，根据期望的基本定义， E ( a X + b ) = ∫ ∞ ∞ ( a x + b ) f ( x ) d x = a ∫ ∞ ∞ x f ( x ) d x + b = a E ( X ) + b E(aX+b)=\int_{\infty}^{\infty }(ax+b)f(x)dx=a\int_{\infty}^{\infty }xf(x)dx+b=aE(X)+b E(aX+b)=∫∞∞(ax+b)f(x)dx=a∫∞∞xf(x)dx+b=aE(X)+b

在之后的证明中就不再将 X X X是DRV和 X X X是CRV的情况都给出。

性质3（可加性）

对于随机变量 X X X和随机变量 Y Y Y， E ( X ± Y ) = E ( X ) ± E ( Y ) E(X\pm Y)=E(X)\pm E(Y) E(X±Y)=E(X)±E(Y)

证明

下面仅以 + + +为例进行证明。

若 X X X和 Y Y Y是DRV，根据期望的基本定义， E ( X + Y ) = ∑ i ∑ j ( x i + y j ) P ( x i ) P ( y j ) = ∑ i ∑ j x i P ( x i ) P ( y j ) + ∑ i ∑ j y j P ( x i ) P ( y j ) E(X+Y)=\sum_{i}^{}\sum_{j}^{}(x_i+y_j)P(x_i)P(y_j)=\sum_{i}^{}\sum_{j}^{}x_iP(x_i)P(y_j)+\sum_{i}^{}\sum_{j}^{}y_jP(x_i)P(y_j) E(X+Y)=∑i∑j(xi+yj)P(xi)P(yj)=∑i∑jxiP(xi)P(yj)+∑i∑jyjP(xi)P(yj)

= ∑ i x i P ( x i ) ∑ j P ( y j ) + ∑ j y j P ( y j ) ∑ i P ( x i ) = ∑ i ( x i ) P ( x i ) + ∑ i ( y i ) P ( y i ) = E ( X ) + E ( Y ) =\sum_{i}^{}x_iP(x_i)\sum_{j}^{}P(y_j)+\sum_{j}^{}y_jP(y_j)\sum_{i}^{}P(x_i)=\sum_{i}^{}(x_i)P(x_i)+\sum_{i}^{}(y_i)P(y_i)=E(X)+ E(Y) =∑ixiP(xi)∑jP(yj)+∑jyjP(yj)∑iP(xi)=∑i(xi)P(xi)+∑i(yi)P(yi)=E(X)+E(Y)

推论

E ( ∑ i X i ) = ∑ i E ( X i ) E(\sum_{i}^{}X_i) =\sum_{i}^{}E(X_i) E(∑iXi)=∑iE(Xi)

性质4（可乘性）

对于随件变量 X X X和随件变量 Y Y Y，若 X X X和 Y Y Y相互独立， E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)，反之不然

证明

E ( X Y ) = ∫ ∞ ∞ ∫ ∞ ∞ x y f ( x , y ) d x d y = ∫ ∞ ∞ ∫ ∞ ∞ x y g ( x ) h ( y ) d x d y = ∫ ∞ ∞ x g ( x ) d x ∫ ∞ ∞ y h ( y ) d y = E ( X ) E ( Y ) E(XY)=\int_{\infty}^{\infty} \int_{\infty}^{\infty} xyf(x,y)dxdy=\int_{\infty}^{\infty} \int_{\infty}^{\infty} xyg(x)h(y)dxdy=\int_{\infty}^{\infty} xg(x)dx \int_{\infty}^{\infty} yh(y)dy=E(X)E(Y) E(XY)=∫∞∞∫∞∞xyf(x,y)dxdy=∫∞∞∫∞∞xyg(x)h(y)dxdy=∫∞∞xg(x)dx∫∞∞yh(y)dy=E(X)E(Y)

推论

X i X_i Xi相互独立， E ( ∏ i X i ) = ∏ i E ( X i ) E(\prod_{i}^{}X_i) =\prod_{i}^{}E(X_i) E(∏iXi)=∏iE(Xi)

性质5（单调性）

若随机变量 X X X和随机变量 Y Y Y满足 X ≥ Y X\ge Y X≥Y，则 E ( X ) ≥ E ( Y ) E(X)\ge E(Y) E(X)≥E(Y)

（$\le $同理）

证明

E ( X ) = ∫ ∞ ∞ x f ( x ) d x ≥ ∫ ∞ ∞ y g ( x ) d x = ∫ ∞ ∞ y g ( y ) d y = E ( Y ) E(X)=\int_{\infty}^{\infty} xf(x)dx\ge\int_{\infty}^{\infty} yg(x)dx=\int_{\infty}^{\infty} yg(y)dy= E(Y) E(X)=∫∞∞xf(x)dx≥∫∞∞yg(x)dx=∫∞∞yg(y)dy=E(Y)

推论

特别的，若常数 c c c满足 X ≥ c X\ge c X≥c，则 E ( X ) ≥ c E(X)\ge c E(X)≥c

方差

性质1

D ( X ) = E ( X 2 ) − ( E X ) 2 D(X)=E\left(X^{2}\right)-(E X)^{2} D(X)=E(X2)−(EX)2

证明

D ( X ) = E [ X 2 − 2 ( E X ) X + ( E X ) 2 ] = E ( X 2 ) − ( E X ) 2 D(X)=E\left[X^{2}-2(E X) X+(E X)^{2}\right]=E\left(X^{2}\right)-(E X)^{2} D(X)=E[X2−2(EX)X+(EX)2]=E(X2)−(EX)2

性质2（非负性）

D ( c ) = 0 D(c) = 0 D(c)=0， D ( X ) ≥ 0 D(X) \geq 0 D(X)≥0

证明

D ( c ) = E ( c − E ( c ) ) 2 = E ( c − c ) 2 = E ( 0 ) = 0 D(c)=E(c-E(c))^2=E(c-c)^2=E(0)=0 D(c)=E(c−E(c))2=E(c−c)2=E(0)=0

D ( x ) = E ( x − E ( x ) ) 2 ≥ E ( 0 ) = 0 D(x)=E(x-E(x))^2\geq E(0)=0 D(x)=E(x−E(x))2≥E(0)=0（期望的单调性）

性质3

D ( X ) = 0 ⇔ P ( X = c ) = 1 D(X)=0 \Leftrightarrow P(X=c)=1 D(X)=0⇔P(X=c)=1

证明

必要性：

D ( X ) = E ( X 2 ) − ( E X ) 2 = c 2 − c 2 = 0 D(X)=E\left(X^{2}\right)-(E X)^{2}=c^2-c^2=0 D(X)=E(X2)−(EX)2=c2−c2=0

充分性：

由于 D ( X ) = E ( X − E ( X ) ) 2 = 0 D(X)=E(X-E(X))^2=0 D(X)=E(X−E(X))2=0

可得 X = E ( X ) X=E(X) X=E(X)，即 P ( X = E ( X ) ) = 1 P(X=E(X))=1 P(X=E(X))=1

性质4

D ( a X + b ) = a 2 D ( X ) D(a X+b)=a^{2} D(X) D(aX+b)=a2D(X)

证明

D ( a X + b ) = E [ a X + b − E ( a X + b ) ] 2 = E [ ( a X + b − a E ( X ) − b ) ] 2 = E [ a X − a E ( X ) ] 2 = a 2 E ( X − E ( X ) ) = a 2 D ( X ) D(a X+b)=E[a X+b-E(a X+b)]^{2}=E[(aX+b-aE(X)-b)]^2=E[aX-aE(X)]^2=a^{2} E(X-E(X))=a^{2} D(X) D(aX+b)=E[aX+b−E(aX+b)]2=E[(aX+b−aE(X)−b)]2=E[aX−aE(X)]2=a2E(X−E(X))=a2D(X)

性质5

若 X X X和 Y Y Y相互独立， D ( X 1 + X 2 ) = D ( X 1 ) + D ( X 2 ) D(X_1+X_2)=D(X_1)+D(X_2) D(X1+X2)=D(X1)+D(X2)

证明

D ( X 1 + X 2 ) = E [ ( X 1 + X 2 − E ( X 1 + X 2 ) ) 2 ] = E [ ( X 1 − E ( X 1 ) ) 2 ] + E [ ( X 2 − E ( X 2 ) ) 2 ] + 2 E [ ( X 1 − E ( X 1 ) ) ( X 2 − E ( X 2 ) ) ] D(X_1+X_2)=E[(X_1+X_2-E(X_1+X_2))^2]=E[(X_1-E(X_1))^2]+E[(X_2-E(X_2))^2]+2E[(X_1-E(X_1))(X_2-E(X_2))] D(X1+X2)=E[(X1+X2−E(X1+X2))2]=E[(X1−E(X1))2]+E[(X2−E(X2))2]+2E[(X1−E(X1))(X2−E(X2))]

= D ( X 1 ) + D ( X 2 ) + 2 E ( X 1 − E ( X 1 ) ) E ( X 2 − E ( X 2 ) ) = D ( X 1 ) + D ( X 2 ) + 2 [ E ( X 1 ) − E ( X 1 ) ] [ E ( X 2 ) − E ( X 2 ) ] =D(X_1)+D(X_2)+2E(X_1-E(X_1))E(X_2-E(X_2))=D(X_1)+D(X_2)+2[E(X_1)-E(X_1)][E(X_2)-E(X_2)] =D(X1)+D(X2)+2E(X1−E(X1))E(X2−E(X2))=D(X1)+D(X2)+2[E(X1)−E(X1)][E(X2)−E(X2)]

= D ( X 1 ) + D ( X 2 ) =D(X_1)+D(X_2) =D(X1)+D(X2)

推论

多个随机变量独立时也成立

性质6

D ( X ) ≤ E [ ( X − c ) 2 ] D(X) \leq E\left[(X-c)^{2}\right] D(X)≤E[(X−c)2]

证明

令函数 g ( c ) = E [ ( X − c ) 2 ] = E ( X 2 ) − 2 c E ( X ) + c 2 g(c)=E\left[(X-c)^{2}\right]=E(X^2)-2cE(X)+c^2 g(c)=E[(X−c)2]=E(X2)−2cE(X)+c2

g ( c ) g(c) g(c)是凸函数，对 g ( c ) g(c) g(c)求导得 g ′ ( c ) = 2 c − 2 E ( X ) g'(c)=2c-2E(X) g′(c)=2c−2E(X)

故 g ′ ( c ) = 0 ⇔ c = E ( X ) g'(c)=0\Leftrightarrow c=E(X) g′(c)=0⇔c=E(X)，即当 c = E ( X ) c=E(X) c=E(X)时 g ( c ) g(c) g(c)取到最小值

故 D ( X ) = E [ X − E ( X ) ] 2 ≤ E [ ( X − c ) 2 ] D(X)=E[X-E(X)]^2\leq E\left[(X-c)^{2}\right] D(X)=E[X−E(X)]2≤E[(X−c)2]

协方差

性质1

C o v ( X , Y ) = E ( X Y ) − ( E X ) ( E Y ) {Cov}(X, Y)=E(XY)-(EX)(EY) Cov(X,Y)=E(XY)−(EX)(EY)

证明

C o v ( X , Y ) = E [ ( X − E X ) ( Y − E Y ) ] = E [ X Y − ( E X ) Y − X ( E Y ) + ( E X ) ( E Y ) ] = E ( X Y ) − ( E X ) ( E Y ) {Cov}(X, Y)=E[(X-E X)(Y-E Y)]=E[XY-(EX) Y-X(EY)+(EX)(EY)]=E(XY)-(EX)(EY) Cov(X,Y)=E[(X−EX)(Y−EY)]=E[XY−(EX)Y−X(EY)+(EX)(EY)]=E(XY)−(EX)(EY)

性质2

Cov ⁡ ( X , Y ) = Cov ⁡ ( Y , X ) \operatorname{Cov}(X, Y)=\operatorname{Cov}(Y, X) Cov(X,Y)=Cov(Y,X)， Cov ⁡ ( X , X ) = D ( X ) \operatorname{Cov}(X, X)=D(X) Cov(X,X)=D(X)

证明

仅证 Cov ⁡ ( X , X ) = D ( X ) \operatorname{Cov}(X, X)=D(X) Cov(X,X)=D(X)

C o v ( X , Y ) = E [ ( X − E X ) ( X − E X ) ] = E [ ( X − E X ) 2 ] = D ( X ) {Cov}(X, Y)=E[(X-EX)(X-EX)]=E[(X-EX)^2]=D(X) Cov(X,Y)=E[(X−EX)(X−EX)]=E[(X−EX)2]=D(X)

性质3

Cov ⁡ ( a X , b Y ) = a b Cov ⁡ ( X , Y ) \operatorname{Cov}(a X, b Y)=a b \operatorname{Cov}(X, Y) Cov(aX,bY)=abCov(X,Y)

证明

Cov ⁡ ( a X , b Y ) = E [ ( a X − E ( a X ) ) ( b Y − E ( b Y ) ) ] = a b E [ ( X − E ( X ) ) ( Y − E ( Y ) ) ] = a b Cov ⁡ ( X , Y ) \operatorname{Cov}(aX, bY)=E[(aX-E(aX))(bY-E(bY))]=abE[(X-E(X))(Y-E(Y))]=ab\operatorname{Cov}(X, Y) Cov(aX,bY)=E[(aX−E(aX))(bY−E(bY))]=abE[(X−E(X))(Y−E(Y))]=abCov(X,Y)

性质4

Cov ⁡ ( X , b ) = 0 \operatorname{Cov}(X, b)=0 Cov(X,b)=0

证明

Cov ⁡ ( X , b ) = E [ ( X − E X ) ( b − E b ) ] = 0 \operatorname{Cov}(X, b)=E[(X-EX)(b-Eb)]=0 Cov(X,b)=E[(X−EX)(b−Eb)]=0

性质5

Cov ⁡ ( X 1 ± X 2 , Y ) = Cov ⁡ ( X 1 , Y ) ± Cov ⁡ ( X 2 , Y ) \operatorname{Cov}\left(X_{1}\pm X_{2}, Y\right)=\operatorname{Cov}\left(X_{1}, Y\right)\pm \operatorname{Cov}\left(X_{2}, Y\right) Cov(X1±X2,Y)=Cov(X1,Y)±Cov(X2,Y)

证明

下面仅以 + + +为例进行证明。

Cov ⁡ ( X 1 + X 2 , Y ) = E [ ( X 1 + X 2 − E ( X 1 + X 2 ) ) ( Y − E ( Y ) ) ] = E [ ( X 1 − E ( X 1 ) ) ( Y − E ( Y ) ) ] + E [ ( X 2 − E ( X 2 ) ) ( Y − E ( Y ) ) ] \operatorname{Cov}\left(X_{1}+X_{2}, Y\right)=E[(X_1+X_2-E(X_1+X_2))(Y-E(Y))]=E[(X_1-E(X_1))(Y-E(Y))]+E[(X_2-E(X_2))(Y-E(Y))] Cov(X1+X2,Y)=E[(X1+X2−E(X1+X2))(Y−E(Y))]=E[(X1−E(X1))(Y−E(Y))]+E[(X2−E(X2))(Y−E(Y))]

= Cov ⁡ ( X 1 , Y ) + Cov ⁡ ( X 2 , Y ) =\operatorname{Cov}\left(X_{1}, Y\right)+\operatorname{Cov}\left(X_{2}, Y\right) =Cov(X1,Y)+Cov(X2,Y)

性质6

D ( X 1 + X 2 ) = D ( X 1 ) + D ( X 2 ) + 2 C o v ( X 1 , X 2 ) D(X_1+X_2)=D(X_1)+D(X_2)+2Cov(X_1,X_2) D(X1+X2)=D(X1)+D(X2)+2Cov(X1,X2)

证明

= D ( X 1 ) + D ( X 2 ) + 2 C o v ( X 1 , X 2 ) =D(X_1)+D(X_2)+2Cov(X_1,X_2) =D(X1)+D(X2)+2Cov(X1,X2)

推论

D ( ∑ i = 1 n λ i X i ) = ∑ i = 1 n λ i 2 D X i + 2 ∑ i < j λ i λ j Cov ⁡ ( X i , X j ) D\left(\sum_{i=1}^{n} \lambda_{i} X_{i}\right)=\sum_{i=1}^{n} \lambda_{i}^{2} D X_{i}+2 \sum_{i<j} \lambda_{i} \lambda_{j} \operatorname{Cov}\left(X_{i}, X_{j}\right) D(∑i=1nλiXi)=∑i=1nλi2DXi+2∑i<jλiλjCov(Xi,Xj)

D ( ∑ i = 1 n λ i X i ) = ∑ i ∑ j λ i λ j Cov ⁡ ( X i , X j ) D\left(\sum_{i=1}^{n} \lambda_{i} X_{i}\right)=\sum_{i}\sum_{j} \lambda_{i} \lambda_{j} \operatorname{Cov}\left(X_{i}, X_{j}\right) D(∑i=1nλiXi)=∑i∑jλiλjCov(Xi,Xj)