漫步数理统计二十九—

令X=(X1,…,Xn)′\mathbf{X}=(X_1,\ldots,X_n)^\prime表示某试验的随机变量，我们一般对X\mathbf{X}的函数感兴趣，表示为T=T(X)T=T(\mathbf{X})。例如如果X\mathbf{X}是一个样本，TT可能是我们感兴趣的统计量。我们先从X\mathbf{X}的线性函数开始；例如对某个特定的向量a=(a1,…,an)′\mathbf{a}=(a_1,\ldots,a_n)^\prime，

T=a′X=∑i=1naiXi

T=\mathbf{a^\prime X}=\sum_{i=1}^na_iX_i

然后我们会得到这种随机变量的均值与方差。

TT的均值根据期望运算的线性性质可以立刻得出，如下定理所示：

定理1：\textbf{定理1：}令T=∑ni=1aiXiT=\sum_{i=1}^na_iX_i，假设对i=1,…,n,E[|Xi|]<∞i=1,\ldots,n,E[|X_i|]，那么

E(T)=∑i=1naiE(Xi)

E(T)=\sum_{i=1}^na_iE(X_i)

对于TT的方差，我们先给出涉及到协方差的一个结论。令Y=(Y1,…,Ym)′\mathbf{Y}=(Y_1,\ldots,Y_m)^\prime表示另一个随机向量，对某个特定的向量b=(b1,…,bm)′,W=b′Y\mathbf{b}=(b_1,\ldots,b_m)^\prime,W=\mathbf{b^\prime Y}。

定理2：\textbf{定理2：}令T=∑ni=1aiXi,W=∑mi−1biYiT=\sum_{i=1}^na_iX_i,W=\sum_{i-1}^mb_iY_i，如果对i=1,…,n,j=1,…,m,E[X2i]<∞,E[Y2j]<∞i=1,\ldots,n,j=1,\ldots,m,E[X_i^2]，那么

cov(T,W)=∑i=1n∑j=1maibjcov(Xi,Yj)

cov(T,W)=\sum_{i=1}^n\sum_{j=1}^ma_ib_jcov(X_i,Y_j)

证明：\textbf{证明：}根据协方差的定义以及定理1，我们可得

cov(T,W)=E[∑i=1n∑j=1m(aiXi−aiE(Xi))(bjYj−bjE(Yj))]=∑i=1n∑j=1maibjE[(xi−E(Xi))(Yj−E(Yj))]

\begin{align*} cov(T,W) &=E[\sum_{i=1}^n\sum_{j=1}^m(a_iX_i-a_iE(X_i))(b_jY_j-b_jE(Y_j))]\\ &=\sum_{i=1}^n\sum_{j=1}^ma_ib_jE[(x_i-E(X_i))(Y_j-E(Y_j))] \end{align*}

得证。||||

为了求出TT的方差，我们用TT替换定理2中的WW，从而得到下面的推论：

推论1：\textbf{推论1：}令T=∑i=1naiXiT=\sum_{i=1^n}a_iX_i，假设对于i=1,…,n,E[X2i]<∞i=1,\ldots,n,E[X_i^2]，

var(T)=cov(T,T)=∑i=1na2ivar(Xi)+2∑i<jaiajcov(Xi,Xj)(1)

\begin{equation} var(T)=cov(T,T)=\sum_{i=1}^na_i^2var(X_i)+2\sum_{i

注意如果X1,…,XnX_1,\ldots,X_n是独立的随机变量，那么cov(Xi,Xj)=0cov(X_i,X_j)=0，从而(1)(1)得到进一步简化，如下面的推论：

推论2：\textbf{推论2：}如果X1,…,XnX_1,\ldots,X_n是拥有有限个变量的独立随机变量，那么

var(T)=∑i=1na2ivar(Xi)(2)

\begin{equation} var(T)=\sum_{i=1}^na_i^2var(X_i)\tag2 \end{equation}
注意只需要对所有的 i≠j,Xi,Xji\neq j,X_i,X_j不相干即可得到这个结论；例如当 X1,…,XnX_1,\ldots,X_n是独立的，那么 cov(Xi,Xj)=0,i≠jcov(X_i,X_j)=0,i\neq j。

考虑我们有一个感兴趣的随机变量XX，它的密度为f(x:θ)f(x:\theta)，其中θ∈Ω\theta\in\Omega，参数θ\theta是未知的且我们需要基于样本估计它，关于估计的第一个性质就是它的期望。

定义1：\textbf{定义1：}令XX是随机变量，pdf为f(x:θ)f(x:\theta)或者pmf为p(x:θ)p(x:\theta)，θ∈Ω\theta\in\Omega。令X1,…,XnX_1,\ldots,X_n是来自XX分布的随机样本并令TT表示一个统计量。我们称TT为θ\theta的无偏估计，如果

E(T)=θ, for all θ∈Ω(3)

\begin{equation} E(T)=\theta,\ for\ all\ \theta\in\Omega\tag3 \end{equation}
如果 TT不是无偏的(即，E(T)=≠θE(T)=\neq\theta) ，我们称 TT是θ\theta的有偏估计。

例1：\textbf{例1：}令X1,…,XnX_1,\ldots,X_n是均值为μ\mu，方差为σ2\sigma^2的随机变量XX的分布中随机得到的样本，回忆一下样本均值为X¯=n−1∑ni=1Xi\bar{X}=n^{-1}\sum_{i=1}^nX_i，它是样本观测值的线性组合，系数为ai=n−1a_i=n^{-1}；因此根据定理1与推论2我们有

E(X¯)=μ,var(X¯)=σ2n

E(\bar{X})=\mu,\quad var(\bar{X})=\frac{\sigma^2}{n}

因此X¯\bar{X}是μ\mu的无偏估计。进一步，X¯\bar{X}的方差在nn很大时非常小。从极限角度来说就是当nn无限大时，样本均值X¯\bar{X}收敛到μ\mu。

例2：\textbf{例2：}X1,…,XnX_1,\ldots,X_n如上例所示，样本方差定义为

S2=(n−1)−1∑i=1n(Xi−X¯)2=(n−1)−1(∑i=1nX2i−nX¯2)

S^2=(n-1)^{-1}\sum_{i=1}^n(X_i-\bar{X})^2=(n-1)^{-1}\left(\sum_{i=1}^nX_i^2-n\bar{X}^2\right)

利用上例的结论以及E(X2)=σ2+μ2E(X^2)=\sigma^2+\mu^2可得

E(S2)=(n−1)−1(∑i=1nE(X2i)−nE(X¯2))=(n−1)−1{nσ2+nμ2−n[(σ2/n+μ2)]}=σ2

\begin{align*} E(S^2) &=(n-1)^{-1}\left(\sum_{i=1}^nE(X_i^2)-nE(\bar{X}^2)\right)\\ &=(n-1)^{-1}\{n\sigma^2+n\mu^2-n[(\sigma^2/n+\mu^2)]\}\\ &=\sigma^2 \end{align*}

因此样本方差是σ2\sigma^2的无偏估计。如果V=n−1∑ni−1(Xi−X¯)2V=n^{-1}\sum_{i-1}^n(X_i-\bar{X})^2，那么E(V)=((n−1)/n)sigma2E(V)=((n-1)/n)sigma^2，也就是说VV是σ2\sigma^2的无偏估计，这也就是为何我们用n−1n-1而不是nn。

例3：\textbf{例3：}令X1,…,XnX_1,\ldots,X_n是均匀分布(0,θ)(0,\theta)的随机样本，假设θ\theta未知，θ\theta的直观估计为样本的最大值。令Yn=max{X1,…,Xn}Y_n=\max\{X_1,\ldots,X_n\}，那么YnY_n的cdf为

FYn(t)=⎧⎩⎨⎪⎪1(tθ)n0t>θ0<t≤θt≤0

F_{Y_n}(t)= \begin{cases} 1&t>\theta\\ (\frac{t}{\theta})^n&0

因此YnY_n的pdf为

fYn(t)={nθntn−100<t≤θelsewhere

f_{Y_n}(t)= \begin{cases} \frac{n}{\theta^n}t^{n-1}&0

基于这个pdd可得E(Yn)=(n/(n+1))θE(Y_n)=(n/(n+1))\theta，所以YnY_n是θ\theta的有偏估计，注意((n+1)/n)Yn((n+1)/n)Y_n是θ\theta的无偏估计。

例4：\textbf{例4：}X1,…,XnX_1,\ldots,X_n随机变量XX分布的随机样本，该变量的pdf为f(x)f(x)。假设μ=E(X)\mu=E(X)存在，进一步假设pdf关于μ\mu对称，例1已经说明样本均值是μ\mu的无偏估计，那么样本中值T=T(X1,X2,…,Xn)=med{X1,X2,…,Xn}T=T(X_1,X_2,\ldots,X_n)=med\{X_1,X_2,\ldots,X_n\}呢？样本中值满足两个性质：(1)如果样本增加(或减少)bb，那么中值也增加(或减少)bb。(2)如果样本均乘以-1，那么中值也乘以-1。我们将这两个性质简写成：

T(X1+b,X2+b,…,Xn+b)T(−X1,−X2,…,−Xn)=T(X1,X2,…,Xn)+b=−T(X1,X2,…,Xn)

\begin{align*} T(X_1+b,X_2+b,\ldots,X_n+b)&=T(X_1,X_2,\ldots,X_n)+b\\ T(-X_1,-X_2,\ldots,-X_n)&=-T(X_1,X_2,\ldots,X_n) \end{align*}

如果XiX_i关于μ\mu对称，那么随机向量(X1−μ,…,Xn−μ)(X_1-\mu,\ldots,X_n-\mu)与随机向量(−(X1−μ),…,−(Xn−μ))(-(X_1-\mu),\ldots,-(X_n-\mu))的分布是一样的，特别的他们的期望是一样的。由上面的结论可得：

E[T]−μ=E[T(X1,…,Xn)]−μ=E[T(X1−μ,…,Xn−μ)]=E[T(−(X1−μ),…,−(Xn−μ))]=−E[T(X1−μ1,…,Xn−μ)]−E[T(X1,…,Xn)]+μ=−E[T]+μ

\begin{align*} E[T]-\mu &=E[T(X_1,\ldots,X_n)]-\mu=E[T(X_1-\mu,\ldots,X_n-\mu)]\\ &=E[T(-(X_1-\mu),\ldots,-(X_n-\mu))]\\ &=-E[T(X_1-\mu_1,\ldots,X_n-\mu)]\\ &-E[T(X_1,\ldots,X_n)]+\mu=-E[T]+\mu \end{align*}

即2E(T)=2μ2E(T)=2\mu，所以E[T]=μE[T]=\mu。在上面两个性质的条件下，样本中值是θ\theta的无偏估计。那么样本均值与样本中值那个更好呢？后面的文章会详细介绍。

漫步数理统计二十九——函数期望相关推荐

漫步数理统计二十五——正态分布
正态分布的动机源于中心极限定理(我们后面会介绍这个定理),这个定理说明正态分布为应用于统计推断提供了重要的一族分布,我们首先从标准正态分布开始. 考虑积分 I=∫∞−∞12π‾‾‾√exp(−z22) ...
漫步数理统计二十——多元随机变量
两个随机变量的概念立即可以扩展到nn个随机变量,下面就是nn个随机变量空间的定义. 定义1:\textbf{定义1:}考虑一个随机试验,其样本空间为C\textbf{C},随机变量XiX_i给每个元素 ...
漫步数理统计二十四——伽玛、卡方与贝塔分布
本篇博文我们讲介绍伽玛(Γ\Gamma),卡方(χ2\chi^2)与贝塔(β\beta)分布.在高等微积分中已经证明过,对于α>0\alpha>0,积分 ∫∞0yα−1e−ydy \int ...
漫步数理统计二十八——混合分布
假设有kk个分布,它们的pdf分别为f1(x),f2(x),-,fk(x)f_1(x),f_2(x),\ldots,f_k(x),支撑为1,2,-,k\mathcal{S_1,S_2,\ldot ...
漫步数理统计二十二——二项及相关分布
之前我们介绍了均匀分布与超几何分布,这篇文章我们讨论一些其他在统计中经常使用的分布,首先从二项与相关分布开始. 伯努利试验是一个随机试验,输出为两个相互独立且有穷中的一个,例如成功或失败(男或女,生或 ...
漫步数学分析二十九——幂级数
本篇文章我们介绍无限级数的相关理论,我们先从幂级数开始. 定义5\textbf{定义5} 幂级数就是形如Σ∞k=0akxk\Sigma_{k=0}^\infty a_kx^k的级数,其中系数aka_k ...
漫步微积分二十九——微积分基本定理
目前为止,我们通过逼近和的极限,得到了一个相当复杂的连续函数定积分的定义, ∫baf(x)dx=limmax Δxk→∞∑k=1nf(x∗k)Δxk(1) \begin{equation} \int_ ...
漫步最优化二十九——D.S.C.算法
你是我的小公主,\textbf{你是我的小公主,} 像宠你宠你宠你.\textbf{像宠你宠你宠你.} 你是我的小公主,\textbf{你是我的小公主,} 我的天空是晴是雨是彩虹,\textbf{我的 ...
漫步数理统计二十六——多元正态分布
本片博文介绍多元正态分布,我们以nn维随机变量为主,但给出n=2n=2时二元情况的一些实例.与上篇文章一样,我们首先介绍标准情况然后扩展到一般情况,当然这里会用到向量与矩阵符号. 考虑随机向量Z=(Z ...

漫步数理统计二十九——函数期望

漫步数理统计二十九——函数期望相关推荐

最新文章

热门文章