UA MATH564 概率论VI 数理统计基础2

多元正态分布
- 矩母函数
- 概率密度
多元正态分布的矩
条件分布
独立性

抽样分布简单地说就是统计量服从的分布，正态分布时最常用的总体分布，因此研究正态总体的抽样分布是相当重要的。一般我们研究下面这三种分布：卡方分布、t分布、F分布。关于统计量的内容可以参考统计理论的第一篇。这一讲介绍多元正态分布，之后逐个介绍这三种分布。

多元正态分布

假设XXX是nnn个独立标准正态随机变量构成的列向量，则多元正态随机变量被定义为XXX的有限个线性函数：
Y=AX+μ,A∈Rm×n,μ∈Rm×1Y = AX + \mu,A \in \mathbb{R}^{m \times n},\mu \in \mathbb{R}^{m \times 1}Y=AX+μ,A∈Rm×n,μ∈Rm×1
记为Y∼Nm(μ,AA′)Y \sim N_m(\mu,AA')Y∼Nm(μ,AA′)，XXX的分布可以记为X∼Nn(0,In)X \sim N_n(0,I_n)X∼Nn(0,In)。不妨假设m<nm<nm<n。多元正态分布具有如下性质：

Z=BY+d,B∈Rl×m,d∈Rl×1Z = BY+d,B \in \mathbb{R}^{l \times m},d \in \mathbb{R}^{l \times 1}Z=BY+d,B∈Rl×m,d∈Rl×1，则Z∼Nl(Bμ+d,BAA′B′)Z \sim N_l(B\mu+d,BAA'B')Z∼Nl(Bμ+d,BAA′B′)
Y=(Y1′,Y2′)′,μ=(μ1′,μ2′)′,Y1,μ1∈Rr×1,Y2,μ2∈R(m−r)×1Y = (Y_1',Y_2')',\mu = (\mu_1',\mu_2')',Y_1,\mu_1 \in \mathbb{R}^{r \times 1},Y_2,\mu_2 \in \mathbb{R}^{(m-r) \times 1}Y=(Y1′,Y2′)′,μ=(μ1′,μ2′)′,Y1,μ1∈Rr×1,Y2,μ2∈R(m−r)×1，AA′=[V11V12V21V22]AA' = \left[ \begin{matrix} V_{11} & V_{12} \\ V_{21} & V_{22} \end{matrix} \right]AA′=[V11V21V12V22]，V11∈Rr×r,V22∈R(m−r)×(m−r),V12∈Rr×(m−r),V21∈R(m−r)×rV_{11} \in \mathbb{R}^{r \times r},V_{22} \in \mathbb{R}^{(m-r)\times (m-r)},V_{12} \in \mathbb{R}^{r \times (m-r)},V_{21} \in \mathbb{R}^{(m-r) \times r}V11∈Rr×r,V22∈R(m−r)×(m−r),V12∈Rr×(m−r),V21∈R(m−r)×r，则Y1∼Nr(μ1,V11),Y2∼Nm−r(μ1,V22)Y_1 \sim N_r(\mu_1,V_{11}),\ Y_2 \sim N_{m-r}(\mu_1,V_{22})Y1∼Nr(μ1,V11), Y2∼Nm−r(μ1,V22)

显然2就是1的特例，性质1根据定义可以直接看出来：
Z=BY+d=B(AX+μ)+d=BAX+(Bμ+d)∼Nl(Bμ+d,BAA′B′)Z = BY + d = B(AX+\mu) + d = BAX + (B\mu + d) \sim N_l(B\mu + d,BAA'B')Z=BY+d=B(AX+μ)+d=BAX+(Bμ+d)∼Nl(Bμ+d,BAA′B′)
性质1说明多元正态随机变量的线性变换也是多元正态随机变量；性质2说明多元正态随机变量的部分元素也服从多元正态分布。

矩母函数

现在考虑记V=AA′V = AA'V=AA′，并假设det⁡(V)≠0\det(V) \ne 0det(V)=0，则Y∼Nm(μ,V)Y \sim N_m(\mu,V)Y∼Nm(μ,V)，我们来尝试推导它的矩母函数。先考虑X∼Nn(0,In)X \sim N_n(0,I_n)X∼Nn(0,In)的矩母函数，
MX(t)=Eet′X=Ee∑i=1ntiXi=∏i=1nEetiXi=∏i=1ne−12ti2=exp⁡(−12t′t)M_X(t) = Ee^{t'X} = Ee^{\sum_{i=1}^n t_i X_i} = \prod_{i=1}^n Ee^{t_iX_i} = \prod_{i=1}^n e^{-\frac{1}{2}t_i^2} = \exp \left( -\frac{1}{2}t't \right)MX(t)=Eet′X=Ee∑i=1ntiXi=i=1∏nEetiXi=i=1∏ne−21ti2=exp(−21t′t)
因为Y=AX+μY = AX + \muY=AX+μ，MY(t)=Eet′Y=Eet′AX+t′μ=et′μEet′AXM_Y(t) = Ee^{t'Y} = Ee^{t'AX+t'\mu} = e^{t'\mu}Ee^{t'AX}MY(t)=Eet′Y=Eet′AX+t′μ=et′μEet′AX，记t′A=s′t'A = s't′A=s′，则
Eet′AX=Ees′X=exp⁡(−12s′s)=exp⁡(−12t′AA′t)Ee^{t'AX} =Ee^{s'X} = \exp \left( -\frac{1}{2}s's \right) = \exp \left( -\frac{1}{2}t'AA't \right) Eet′AX=Ees′X=exp(−21s′s)=exp(−21t′AA′t)
所以多元正态随机变量的矩母函数为
MY(t)=exp⁡(t′μ−12t′AA′t)=exp⁡(t′μ−12t′Vt)M_Y(t) = \exp \left( t'\mu - \frac{1}{2}t'AA't \right) = \exp \left( t'\mu - \frac{1}{2}t'Vt \right)MY(t)=exp(t′μ−21t′AA′t)=exp(t′μ−21t′Vt)

概率密度

接下来推导密度函数：
fY(y)=(2π)−m/2(det⁡(V))−1/2exp⁡(−12(y−μ)′V−1(y−μ))f_Y(y) = (2\pi)^{-m/2}(\det(V))^{-1/2}\exp \left( -\frac{1}{2}(y-\mu)'V^{-1}(y-\mu) \right)fY(y)=(2π)−m/2(det(V))−1/2exp(−21(y−μ)′V−1(y−μ))
首先，XXX就是nnn个标准正态简单随机样本，它的密度函数是
f(X)(x)=(2π)−n/2exp⁡(−12x′x)f_(X)(x) = (2\pi)^{-n/2}\exp \left( -\frac{1}{2} x'x\right)f(X)(x)=(2π)−n/2exp(−21x′x)
把YYY看成是基于XXX的变换，
P(Y≤a)=∫Ax+μ≤a(2π)−n/2exp⁡(−12x′x)dxP(Y \le a) = \int_{Ax+\mu \le a} (2\pi)^{-n/2}\exp \left( -\frac{1}{2} x'x\right) dxP(Y≤a)=∫Ax+μ≤a(2π)−n/2exp(−21x′x)dx
假设YYY的密度函数为fY(y)f_Y(y)fY(y)，则
P(Y≤a)=∫y≤afY(y)dyP(Y \le a) = \int_{y \le a} f_Y(y)dyP(Y≤a)=∫y≤afY(y)dy
计算fY(y)f_Y(y)fY(y)的思路是对xxx的积分做积分换元，使积分域与对yyy的积分的积分域相同。积分换元公式只能处理用满秩的C1C^1C1变换换元的情况，考虑到Y=AX+μY = AX + \muY=AX+μ不是一个满秩的变换，我们可以把它补成满秩的。定义T=[A′,B′]′∈Rn×nT = [A',B']' \in \mathbb{R}^{n \times n}T=[A′,B′]′∈Rn×n，其中B∈R(n−m)×nB \in \mathbb{R}^{(n-m)\times n}B∈R(n−m)×n满足AB′=0,BB′=In−mAB'=0,\ BB' = I_{n-m}AB′=0, BB′=In−m，记u1=Ax,u2=Bx,u=Txu_1 = Ax,u_2 = Bx,u=Txu1=Ax,u2=Bx,u=Tx，因为TTT是满秩的，因此x=T−1ux=T^{-1}ux=T−1u，Ax+μ≤a⇒u1+μ≤aAx + \mu \le a \Rightarrow u_1 + \mu \le aAx+μ≤a⇒u1+μ≤a，
TT′=(AB)(A′B′)=diag(V,In−m)(TT′)−1=diag(V−1,In−m),det⁡(TT′)−1=det⁡(V−1)x′x=u′(TT′)−1u=u1′V−1u1+u2′u2det⁡(T−1)=(det⁡(T))−1=(det⁡(TT′))−1/2=(det⁡(V))−1/2TT' = \left( \begin{matrix} A \\ B \end{matrix} \right)\left( \begin{matrix} A' & B' \end{matrix} \right) = diag(V,I_{n-m})\\ (TT')^{-1} = diag(V^{-1},I_{n-m}),\ \det(TT')^{-1} = \det(V^{-1}) \\ x'x = u'(TT')^{-1}u = u_1'V^{-1}u_1 + u_2'u_2 \\ \det(T^{-1}) = (\det(T))^{-1} = (\det(TT'))^{-1/2} = (\det(V))^{-1/2}TT′=(AB)(A′B′)=diag(V,In−m)(TT′)−1=diag(V−1,In−m), det(TT′)−1=det(V−1)x′x=u′(TT′)−1u=u1′V−1u1+u2′u2det(T−1)=(det(T))−1=(det(TT′))−1/2=(det(V))−1/2
根据积分换元公式，
P(Y≤a)=∫Ax+μ≤a(2π)−n/2exp⁡(−12x′x)dx=∫u1+μ≤a(2π)−n/2(det⁡(V))−1/2exp⁡(−12(u1′V−1u1+u2′u2))du=∫μ1+μ≤a(2π)−m/2(det⁡(V))−1/2exp⁡(−12u1′V−1u1)du1P(Y \le a) = \int_{Ax+\mu \le a} (2\pi)^{-n/2}\exp \left( -\frac{1}{2} x'x\right) dx \\ = \int_{u_1 + \mu \le a} (2\pi)^{-n/2}(\det(V))^{-1/2}\exp \left( -\frac{1}{2} (u_1'V^{-1}u_1 + u_2'u_2)\right) du \\ = \int_{\mu_1 + \mu \le a} (2\pi)^{-m/2}(\det(V))^{-1/2}\exp \left( -\frac{1}{2} u_1'V^{-1}u_1\right) du_1P(Y≤a)=∫Ax+μ≤a(2π)−n/2exp(−21x′x)dx=∫u1+μ≤a(2π)−n/2(det(V))−1/2exp(−21(u1′V−1u1+u2′u2))du=∫μ1+μ≤a(2π)−m/2(det(V))−1/2exp(−21u1′V−1u1)du1
再做变换w=u1+μw = u_1 + \muw=u1+μ，则上式可进一步化简，
RHS=∫w≤a(2π)−m/2(det⁡(V))−1/2exp⁡(−12(w−μ)′V−1(w−μ))dwRHS = \int_{w \le a} (2\pi)^{-m/2}(\det(V))^{-1/2}\exp \left( -\frac{1}{2} (w-\mu)'V^{-1}(w-\mu)\right) dwRHS=∫w≤a(2π)−m/2(det(V))−1/2exp(−21(w−μ)′V−1(w−μ))dw
根据一阶微分的唯一性，
fY(y)=(2π)−m/2(det⁡(V))−1/2exp⁡(−12(y−μ)′V−1(y−μ))f_Y(y) = (2\pi)^{-m/2}(\det(V))^{-1/2}\exp \left( -\frac{1}{2}(y-\mu)'V^{-1}(y-\mu) \right)fY(y)=(2π)−m/2(det(V))−1/2exp(−21(y−μ)′V−1(y−μ))

多元正态分布的矩

对于Y∼Nm(μ,V)Y \sim N_m(\mu,V)Y∼Nm(μ,V)，称μ\muμ是YYY的期望，VVV是YYY的协方差矩阵：
μ=EY,V=Var(Y)=Cov(Y,Y)=E((Y−μ)(Y−μ)′)\mu = EY,\ V =Var(Y) =Cov(Y,Y)= E((Y-\mu)(Y-\mu)')μ=EY, V=Var(Y)=Cov(Y,Y)=E((Y−μ)(Y−μ)′)
他们有如下性质：

E[AX]=AE[X]E[AX] = AE[X]E[AX]=AE[X]
E[AXB]=AE[X]BE[AXB] = AE[X]BE[AXB]=AE[X]B
Var(AX)=AVar(X)A′Var(AX) = AVar(X)A'Var(AX)=AVar(X)A′
Cov(AX,BY)=ACov(X,Y)B′Cov(AX,BY) = ACov(X,Y)B'Cov(AX,BY)=ACov(X,Y)B′

前两条就是期望的线性性，第三条是第四条的特例，在第四条中取B=A,Y=XB=A,Y=XB=A,Y=X即可，下面说一下第四条：
Cov(AX,BY)=E[(AX−AE[X])(BY−BE[Y])′]=E[AXY′B′]−AE[X]E[Y′]B′=A{E[XY′]−E[X]E[Y′]}B′=ACov(X,Y)B′Cov(AX,BY) = E[(AX-AE[X])(BY-BE[Y])'] \\ = E[AXY'B']-AE[X]E[Y']B' = A\{E[XY']-E[X]E[Y']\}B' = ACov(X,Y)B'Cov(AX,BY)=E[(AX−AE[X])(BY−BE[Y])′]=E[AXY′B′]−AE[X]E[Y′]B′=A{E[XY′]−E[X]E[Y′]}B′=ACov(X,Y)B′

条件分布

现在考虑多元正态分布性质2中的分块：
Y=(Y1′,Y2′)′,μ=(μ1′,μ2′)′,Y1,μ1∈Rr×1,Y2,μ2∈R(m−r)×1Y = (Y_1',Y_2')',\mu = (\mu_1',\mu_2')',Y_1,\mu_1 \in \mathbb{R}^{r \times 1},Y_2,\mu_2 \in \mathbb{R}^{(m-r) \times 1}Y=(Y1′,Y2′)′,μ=(μ1′,μ2′)′,Y1,μ1∈Rr×1,Y2,μ2∈R(m−r)×1，AA′=[V11V12V21V22]AA' = \left[ \begin{matrix} V_{11} & V_{12} \\ V_{21} & V_{22} \end{matrix} \right]AA′=[V11V21V12V22]，V11∈Rr×r,V22∈R(m−r)×(m−r),V12∈Rr×(m−r),V21∈R(m−r)×rV_{11} \in \mathbb{R}^{r \times r},V_{22} \in \mathbb{R}^{(m-r)\times (m-r)},V_{12} \in \mathbb{R}^{r \times (m-r)},V_{21} \in \mathbb{R}^{(m-r) \times r}V11∈Rr×r,V22∈R(m−r)×(m−r),V12∈Rr×(m−r),V21∈R(m−r)×r，则
E[Y1∣Y2]=μ1+V12V22−1(Y22−μ2)Var(Y1∣Y2)=V11,2=V11−V12V22−1V11E[Y_1|Y_2] = \mu_1 + V_{12}V_{22}^{-1}(Y_{22} - \mu_2) \\ Var(Y_1|Y_2) = V_{11,2} = V_{11} - V_{12}V_{22}^{-1}V_{11}E[Y1∣Y2]=μ1+V12V22−1(Y22−μ2)Var(Y1∣Y2)=V11,2=V11−V12V22−1V11
其中V12V22V_{12}V_{22}V12V22被称为Y1Y_1Y1关于Y2Y_2Y2的回归系数阵，V11,2V_{11,2}V11,2被称为条件协方差矩阵。这两个公式的推导不需要额外的技巧，思路是计算条件分布Y1∣Y2Y_1|Y_2Y1∣Y2即可，因为边缘密度和联合密度都有，所以按定义仔细计算就好。

独立性

对于随机向量XXX与YYY，称X,YX,YX,Y独立，如果
P(X<a,Y<b)=P(X<a)P(Y<b),∀a,bP(X<a,Y<b) = P(X < a)P(Y<b),\forall a,bP(X<a,Y<b)=P(X<a)P(Y<b),∀a,b
关于多元正态分布的独立性有如下性质：

X∼N(0,In)X \sim N(0,I_n)X∼N(0,In)，Y=AX+μ,Z=BX+ν,AA′>0,BB′>0Y = AX + \mu,Z = BX + \nu,AA'>0,BB'>0Y=AX+μ,Z=BX+ν,AA′>0,BB′>0，则YYY与ZZZ独立的充要条件是AB′=0AB'=0AB′=0
Y1Y_1Y1与Y2Y_2Y2互相独立的条件是V12=0V_{12}=0V12=0

因为V12=Cov(Y1,Y2)V_{12} = Cov(Y_1,Y_2)V12=Cov(Y1,Y2)，所以第二条性质也是说明多元的情况下，独立性也是协方差为0的充分条件。这个性质比较明显，因为协方差为0保证在计算概率的时候可以使用Fubini定理。接受了这一点后再看性质1就会比较显然了，
Cov(Y,Z)=Cov(AX+μ,BX+ν)=Cov(AX,BX)=AB′Cov(Y,Z) = Cov(AX + \mu,BX+\nu) = Cov(AX,BX) = AB'Cov(Y,Z)=Cov(AX+μ,BX+ν)=Cov(AX,BX)=AB′
当AB′=0AB'=0AB′=0的时候协方差会等于0，因此二者独立。

UA MATH564 概率论VI 数理统计基础2 多元正态分布相关推荐

UA MATH564 概率论VI 数理统计基础3 卡方分布上
UA MATH564 概率论VI 数理统计基础3 卡方分布上卡方分布卡方分布的分布函数中心化卡方分布一般的卡方分布卡方分布这里给出卡方分布的一般性定义.假设X1,⋯,XnX_1,\cdot ...
UA MATH564 概率论VI 数理统计基础3 卡方分布下 Cochran定理
UA MATH564 概率论VI 数理统计基础3 卡方分布下 Cochran定理多元正态随机变量二次型的分布 Cochran定理这一讲介绍多元正态随机变量的二次型的相关性质以及非常常用的Cochr ...
UA MATH564 概率论VI 数理统计基础3 卡方分布的正态近似
UA MATH564 概率论VI 数理统计基础3 卡方分布的正态近似卡方分布的正态近似 Gamma分布的正态近似基于卡方分布的近似基于指数分布的近似在做UA MATH566 统计理论 QE练习 ...
UA MATH564 概率论VI 数理统计基础5 F分布
UA MATH564 概率论VI 数理统计基础5 F分布假设X∼χm,δ2,Y∼χn2X \sim \chi^2_{m,\delta},Y \sim \chi^2_{n}X∼χm,δ2,Y∼χn2 ...
UA MATH564 概率论VI 数理统计基础4 t分布
UA MATH564 概率论VI 数理统计基础4 t分布 t分布的定义 t分布的概率密度 t分布的性质 t分布的定义假设X,YX,YX,Y互相独立,X∼N(δ,1)X \sim N(\delta,1 ...
UA MATH564 概率论VI 数理统计基础3 卡方分布中
UA MATH564 概率论VI 数理统计基础3 卡方分布中卡方分布的基本性质上一讲介绍了卡方分布的定义:假设X1,⋯,XnX_1,\cdots,X_nX1,⋯,Xn互相独立,并且Xi∼N(a ...
UA MATH564 概率论VI 数理统计基础1
UA MATH564 概率论VI 数理统计基础1 样本均值与样本方差正态样本的均值与方差的性质样本均值与样本方差样本均值和样本方差是经常用到的两个统计量,大部分正态假设的统计模型均值和方差的OL ...
UA MATH564 概率论 QE练习题3
UA MATH564 概率论 QE练习题3 第一题第二题第三题这是2015年1月的1-3题. 第一题 Part a Obvioulsy, EU=EW=0EU = EW = 0EU=EW=0, V ...
UA MATH564 概率论多元随机变量的变换理论与应用2
UA MATH564 概率论多元随机变量的变换几个例题例5 X1,X2,X3∼iidEXP(λ)X_1,X_2,X_3 \sim_{iid} EXP(\lambda)X1,X2,X3∼ii ...

UA MATH564 概率论VI 数理统计基础2 多元正态分布