UA MATH564 概率论VI 数理统计基础3 卡方分布下 Cochran定理

多元正态随机变量二次型的分布
Cochran定理

这一讲介绍多元正态随机变量的二次型的相关性质以及非常常用的Cochran定理。假设X1,⋯,XnX_1,\cdots,X_nX1,⋯,Xn互相独立，记X=[X1,⋯,Xn]′∼Nn(a,In)X = [X_1,\cdots,X_n]' \sim N_n(a,I_n)X=[X1,⋯,Xn]′∼Nn(a,In)，a=[a1,⋯,an]′a = [a_1,\cdots,a_n]'a=[a1,⋯,an]′。

多元正态随机变量二次型的分布

假设AAA是nnn阶对称幂等矩阵，记r=rank(A)r=rank(A)r=rank(A)，则Y=X′AX∼χr,δ2,δ=a′AaY=X'AX\sim \chi^2_{r,\delta},\delta=a'AaY=X′AX∼χr,δ2,δ=a′Aa

证明
充分性。因为AAA是幂等矩阵，因此AAA的特征值为0或1，r=rank(A)r=rank(A)r=rank(A)，因此AAA的特征值中有rrr个1，由于AAA是对称矩阵，因此∃P,P′P=PP′=In\exists P,P'P=PP'=I_n∃P,P′P=PP′=In，PAP′=diag(Ir,0)PAP'=diag(I_r,0)PAP′=diag(Ir,0)。做正交变换Z=PXZ=PXZ=PX，则Z∼Nn(Pa,In)Z \sim N_n(Pa,I_n)Z∼Nn(Pa,In)，Y=X′AX=Z′PAP′Z=Z′diag(Ir,0)Z=∑i=1rZi2∼χr,δ2δ2=∑i=1rEZi2=(EZ)′diag(Ir,0)(EZ)=(EZ)′PAP′(EZ)=(EZ)′P′AP(EZ)=E(PZ)′AE(PZ)=a′AaY=X'AX=Z'PAP'Z=Z'diag(I_r,0)Z=\sum_{i=1}^r Z_i^2 \sim \chi^2_{r,\delta} \\ \delta^2 = \sum_{i=1}^r EZ_i^2 = (EZ)'diag(I_r,0)(EZ)=(EZ)'PAP'(EZ) \\ = (EZ)'P'AP(EZ)=E(PZ)'AE(PZ)=a'AaY=X′AX=Z′PAP′Z=Z′diag(Ir,0)Z=i=1∑rZi2∼χr,δ2δ2=i=1∑rEZi2=(EZ)′diag(Ir,0)(EZ)=(EZ)′PAP′(EZ)=(EZ)′P′AP(EZ)=E(PZ)′AE(PZ)=a′Aa
必要性。因为r=rank(A)r=rank(A)r=rank(A)，假设AAA的非零特征根为λ1,λ2,⋯,λr\lambda_1,\lambda_2,\cdots,\lambda_rλ1,λ2,⋯,λr，∃Q,Q′Q=QQ′=In\exists Q,Q'Q=QQ'=I_n∃Q,Q′Q=QQ′=In，QAQ′=diag(λ1,⋯,λr,0,⋯,0)QAQ'=diag(\lambda_1,\cdots,\lambda_r,0,\cdots,0)QAQ′=diag(λ1,⋯,λr,0,⋯,0)，做正交变换Z=PXZ=PXZ=PX
Y=X′AX=Z′QAQ′Z=∑i=1rλiZi2Y = X'AX = Z'QAQ'Z = \sum_{i=1}^r \lambda_i Z_i^2Y=X′AX=Z′QAQ′Z=i=1∑rλiZi2

其中Z∼Nn(Pa,In)Z \sim N_n(Pa,I_n)Z∼Nn(Pa,In)，记Zi∼N(ci,1),i=1,⋯,nZ_i \sim N(c_i,1),i=1,\cdots,nZi∼N(ci,1),i=1,⋯,n，可以用特征函数确定YYY的分布。计算λjZj2\lambda_j Z_j^2λjZj2的特征函数，
κλjZj2(t)=E[eitλjZj2]=∫−∞∞eitλx212πe−(x−cj)22dx=11−2iλjteiλjtcj1−2iλjt\kappa_{\lambda_j Z_j^2}(t) = E[e^{it\lambda_j Z_j^2}] = \int_{-\infty}^{\infty} e^{it\lambda x^2} \frac{1}{\sqrt{2\pi}}e^{-\frac{(x-c_j)^2}{2}}dx= \frac{1}{\sqrt{1-2i\lambda_j t}}e^{\frac{i\lambda_j t c_j}{1-2i\lambda_j t}}κλjZj2(t)=E[eitλjZj2]=∫−∞∞eitλx22π1e−2(x−cj)2dx=1−2iλjt1e1−2iλjtiλjtcj

进一步计算YYY的特征函数为
κY(t)=∏j=1rκλjZj2(t)=∏j=1r11−2iλjteiλjtcj1−2iλjt\kappa_Y(t) = \prod_{j=1}^r \kappa_{\lambda_j Z_j^2}(t) = \prod_{j=1}^r \frac{1}{\sqrt{1-2i\lambda_j t}}e^{\frac{i\lambda_j t c_j}{1-2i\lambda_j t}}κY(t)=j=1∏rκλjZj2(t)=j=1∏r1−2iλjt1e1−2iλjtiλjtcj

当λ1=λ2=⋯=λr=1\lambda_1 = \lambda_2 = \cdots = \lambda_r = 1λ1=λ2=⋯=λr=1时，这个特征函数成为χr,δ2\chi^2_{r,\delta}χr,δ2的特征函数，因此AAA为幂等矩阵。

证毕

Cochran定理

假设X∼Nn(a,In)X \sim N_n(a,I_n)X∼Nn(a,In)，X′X=∑i=1mX′AiXX'X = \sum_{i=1}^m X'A_iXX′X=∑i=1mX′AiX，则X′AiX∼χni,δi2X'A_iX \sim \chi^2_{n_i,\delta_i}X′AiX∼χni,δi2，当且仅当∑i=1mrank(Ai)=n\sum_{i=1}^m rank(A_i)=n∑i=1mrank(Ai)=n时X′AiXX'A_iXX′AiX互相独立，此时ni=rank(Ai),δi2=a′Aian_i = rank(A_i),\delta_i^2 = a'A_iani=rank(Ai),δi2=a′Aia。

证明
充分性。记Qi=X′AiXQ_i = X'A_iXQi=X′AiX，假设BBB是一个正交矩阵，则
∑i=1mQi=X′X=X′InX=X′B′BX=∑i=1mX′AiX=X′(∑i=1mAi)X\sum_{i=1}^m Q_i = X'X = X'I_nX = X'B'BX=\sum_{i=1}^m X'A_iX = X'\left(\sum_{i=1}^m A_i \right) Xi=1∑mQi=X′X=X′InX=X′B′BX=i=1∑mX′AiX=X′(i=1∑mAi)X
做正交变换Z=BXZ = BXZ=BX，则Z∼N(Ba,In)Z \sim N(Ba,I_n)Z∼N(Ba,In)，并且
∑i=1mQi=Z′Z=∑j=1nZj2=∑i=1m∑j=ei−1+1eiZj2\sum_{i=1}^m Q_i = Z'Z = \sum_{j=1}^n Z_j^2 = \sum_{i=1}^m \sum_{j=e_{i-1}+1}^{e_i} Z_j^2i=1∑mQi=Z′Z=j=1∑nZj2=i=1∑mj=ei−1+1∑eiZj2
其中ei=∑j=1inje_{i} = \sum_{j=1}^i n_jei=∑j=1inj，假设BBB的选取使得
Qi=∑j=ei−1+1eiZj2=X′AiX,∀i=1,2,⋯,mQ_i = \sum_{j=e_{i-1}+1}^{e_i} Z_j^2 = X'A_iX,\forall i=1,2,\cdots,mQi=j=ei−1+1∑eiZj2=X′AiX,∀i=1,2,⋯,m
根据上面多元正态随机变量二次型的分布性质的证明，Qi∼χni,δi2Q_i \sim \chi^2_{n_i,\delta_i}Qi∼χni,δi2

必要性的证明需要另一个性质：
X′AX∼χm,δ2,X′A1X∼χm,δ12,A−A1≥0⇒X′(A−A1)X∼χm−m1,δ22X'AX \sim \chi^2_{m,\delta},\ \ X'A_1X \sim \chi^2_{m,\delta_1}, A-A_1 \ge 0 \\ \Rightarrow X'(A-A_1)X \sim \chi^2_{m-m_1,\delta_2}X′AX∼χm,δ2, X′A1X∼χm,δ12,A−A1≥0⇒X′(A−A1)X∼χm−m1,δ22

必要性就是把这个性质从两个矩阵(A−A1,A1A-A_1,A_1A−A1,A1)推广到有限个(A1,⋯,AmA_1,\cdots,A_mA1,⋯,Am)，用数学归纳法就可以证明；这条性质本身可以用特征函数验证。

证毕

UA MATH564 概率论VI 数理统计基础3 卡方分布下 Cochran定理相关推荐

UA MATH564 概率论VI 数理统计基础3 卡方分布的正态近似
UA MATH564 概率论VI 数理统计基础3 卡方分布的正态近似卡方分布的正态近似 Gamma分布的正态近似基于卡方分布的近似基于指数分布的近似在做UA MATH566 统计理论 QE练习 ...
UA MATH564 概率论VI 数理统计基础3 卡方分布中
UA MATH564 概率论VI 数理统计基础3 卡方分布中卡方分布的基本性质上一讲介绍了卡方分布的定义:假设X1,⋯,XnX_1,\cdots,X_nX1,⋯,Xn互相独立,并且Xi∼N(a ...
UA MATH564 概率论VI 数理统计基础3 卡方分布上
UA MATH564 概率论VI 数理统计基础3 卡方分布上卡方分布卡方分布的分布函数中心化卡方分布一般的卡方分布卡方分布这里给出卡方分布的一般性定义.假设X1,⋯,XnX_1,\cdot ...
UA MATH564 概率论VI 数理统计基础4 t分布
UA MATH564 概率论VI 数理统计基础4 t分布 t分布的定义 t分布的概率密度 t分布的性质 t分布的定义假设X,YX,YX,Y互相独立,X∼N(δ,1)X \sim N(\delta,1 ...
UA MATH564 概率论VI 数理统计基础2 多元正态分布
UA MATH564 概率论VI 数理统计基础2 多元正态分布矩母函数概率密度多元正态分布的矩条件分布独立性抽样分布简单地说就是统计量服从的分布,正态分布时最常用的总体分布,因此研究正态总 ...
UA MATH564 概率论VI 数理统计基础1
UA MATH564 概率论VI 数理统计基础1 样本均值与样本方差正态样本的均值与方差的性质样本均值与样本方差样本均值和样本方差是经常用到的两个统计量,大部分正态假设的统计模型均值和方差的OL ...
UA MATH564 概率论VI 数理统计基础5 F分布
UA MATH564 概率论VI 数理统计基础5 F分布假设X∼χm,δ2,Y∼χn2X \sim \chi^2_{m,\delta},Y \sim \chi^2_{n}X∼χm,δ2,Y∼χn2 ...
UA MATH564 概率论 QE练习题3
UA MATH564 概率论 QE练习题3 第一题第二题第三题这是2015年1月的1-3题. 第一题 Part a Obvioulsy, EU=EW=0EU = EW = 0EU=EW=0, V ...
UA MATH564 概率论多元随机变量的变换理论与应用2
UA MATH564 概率论多元随机变量的变换几个例题例5 X1,X2,X3∼iidEXP(λ)X_1,X_2,X_3 \sim_{iid} EXP(\lambda)X1,X2,X3∼ii ...

UA MATH564 概率论VI 数理统计基础3 卡方分布下 Cochran定理

UA MATH564 概率论VI 数理统计基础3 卡方分布下 Cochran定理

多元正态随机变量二次型的分布

Cochran定理

UA MATH564 概率论VI 数理统计基础3 卡方分布下 Cochran定理相关推荐

最新文章

热门文章