UA MATH566 统计理论用点估计构造置信区间

用点估计构造置信区间

置信区间（confidential interval，CI）也叫区间估计，是另一种做统计推断的方法，和假设检验密切相关。统计量的质量一般用它的bias和variance来衡量，点估计的话不太能直观地表示这两个概念，所以又定义了区间估计C^(X)⊂Θ\hat{C}(X) \subset \ThetaC^(X)⊂Θ，定义
P{θ∈C^(X)}P\{\theta \in \hat{C}(X)\}P{θ∈C^(X)}

为covering probability。定义C^\hat{C}C^是γ\gammaγ-level 置信区间，如果covering probability为γ\gammaγ。记C^(X)=[θ^L(X),θ^U(X)]\hat{C}(X) = [\hat{\theta}_L(X),\hat{\theta}_U(X)]C^(X)=[θ^L(X),θ^U(X)]，频率派统计认为真实的参数θ\thetaθ是一个只有造物主才知道的常数，区间估计中区间的端点是基于随机样本的统计量，因此这个区间是随机的，我们可以用频率的观点来解释covering probability，假设我们独立重复抽取了一百组样本，可以计算出一百个置信区间，那么这一百个里面大概就会有100γ100 \gamma100γ个包含真实的参数θ\thetaθ。

用点估计构造置信区间

假设ggg在参数空间上是一个单调变换，存在统计量h(X)h(X)h(X)是g(θ)g(\theta)g(θ)的无偏估计，E[h(X)]=g(θ)E[h(X)] = g(\theta)E[h(X)]=g(θ)，根据定义，θ\thetaθ的γ\gammaγ置信区间为
P(θ^L≤θ≤θ^U)=γP(\hat{\theta}_L \le \theta \le \hat{\theta}_U) = \gammaP(θ^L≤θ≤θ^U)=γ

如果g(θ)g(\theta)g(θ)是单增的变换，则
P(g(θ^L)≤g(θ)≤g(θ^U))=γP(g(\hat{\theta}_L) \le g(\theta) \le g(\hat{\theta}_U)) = \gammaP(g(θ^L)≤g(θ)≤g(θ^U))=γ

如果g(θ)g(\theta)g(θ)是单减的变换，则
P(g(θ^U)≤g(θ)≤g(θ^L))=γP(g(\hat{\theta}_U) \le g(\theta) \le g(\hat{\theta}_L)) = \gammaP(g(θ^U)≤g(θ)≤g(θ^L))=γ

因为我们构造的统计量是g(θ)g(\theta)g(θ)的无偏估计，可以根据h(X)h(X)h(X)构造出h(X)+/−m(X)h(X) +/- m(X)h(X)+/−m(X)使得
P(h(X)−m(X)≤g(θ)≤h(X)+m(X))=γP(h(X) -m(X) \le g(\theta) \le h(X) + m(X)) = \gammaP(h(X)−m(X)≤g(θ)≤h(X)+m(X))=γ

这里的构造方法通常是枢轴量法，可以参考UA MATH566 统计理论8 用Pivot构造置信区间。如果g(θ)g(\theta)g(θ)是单增的变换，则令
g(θ^L)=h(X)−m(X)⇒θ^L=g−1(h(X)−m(X))g(θ^U)=h(X)+m(X)⇒θ^U=g−1(h(X)+m(X))g(\hat{\theta}_L) = h(X) -m(X) \Rightarrow \hat{\theta}_L = g^{-1}( h(X) -m(X)) \\ g(\hat{\theta}_U) = h(X) +m(X) \Rightarrow \hat{\theta}_U = g^{-1}( h(X) +m(X)) g(θ^L)=h(X)−m(X)⇒θ^L=g−1(h(X)−m(X))g(θ^U)=h(X)+m(X)⇒θ^U=g−1(h(X)+m(X))

如果g(θ)g(\theta)g(θ)是单减的变换，则令
g(θ^L)=h(X)+m(X)⇒θ^L=g−1(h(X)+m(X))g(θ^U)=h(X)−m(X)⇒θ^U=g−1(h(X)−m(X))g(\hat{\theta}_L) = h(X) +m(X) \Rightarrow \hat{\theta}_L = g^{-1}( h(X) +m(X)) \\ g(\hat{\theta}_U) = h(X) -m(X) \Rightarrow \hat{\theta}_U = g^{-1}( h(X) -m(X)) g(θ^L)=h(X)+m(X)⇒θ^L=g−1(h(X)+m(X))g(θ^U)=h(X)−m(X)⇒θ^U=g−1(h(X)−m(X))

下面举例说明这套流程怎么操作：

例1 {Xi}i=1n∼iidEXP(λ)\{X_i\}_{i=1}^n \sim_{iid} EXP(\lambda){Xi}i=1n∼iidEXP(λ)，求λ\lambdaλ的1−α1-\alpha1−α置信区间
先写出样本的联合概率密度
f(x1,⋯,xn∣λ)=1λne−1/λ∑i=1nXif(x_1,\cdots,x_n|\lambda) = \frac{1}{\lambda^n} e^{-1/\lambda\sum_{i=1}^n X_i} f(x1,⋯,xn∣λ)=λn1e−1/λ∑i=1nXi

根据Neyman-Fisher定理，∑i=1nXi\sum_{i=1}^n X_i∑i=1nXi是充分统计量。样本的对数似然为
l(λ)=−nlog⁡λ−1λ∑i=1nXi=0l′(λ)=−nλ+1λ2∑i=1nXi=0⇒λ^=Xˉl(\lambda) = -n\log \lambda - \frac{1}{\lambda}\sum_{i=1}^n X_i = 0 \\ l'(\lambda) = -\frac{n}{\lambda} + \frac{1}{\lambda^2}\sum_{i=1}^n X_i = 0 \Rightarrow \hat{\lambda} = \bar{X}l(λ)=−nlogλ−λ1i=1∑nXi=0l′(λ)=−λn+λ21i=1∑nXi=0⇒λ^=Xˉ

E[Xˉ]=E[X1]=1λE[\bar{X}] = E[X_1] = \frac{1}{\lambda}E[Xˉ]=E[X1]=λ1，说明Xˉ\bar{X}Xˉ是1/λ1/\lambda1/λ的无偏估计。这时对应的是单调递减的情况，这里的h(X)h(X)h(X)就是Xˉ\bar{X}Xˉ，我们尝试用Xˉ\bar{X}Xˉ构造一个1/λ1/\lambda1/λ的置信区间。根据gamma分布的可加性，∑i=1nXi∼Γ(n,λ)\sum_{i=1}^n X_i \sim \Gamma(n,\lambda)∑i=1nXi∼Γ(n,λ)，做一个尺度变换后，Xˉ∼Γ(n,λ/n)\bar{X} \sim \Gamma(n,\lambda/n)Xˉ∼Γ(n,λ/n)，构造枢轴量
Q=nXˉ2λ∼χ2n2Q = \frac{n\bar{X}}{2\lambda} \sim \chi^2_{2n}Q=2λnXˉ∼χ2n2

记χ2n,α22\chi^2_{2n,\frac{\alpha}{2}}χ2n,2α2和χ2n,1−α22\chi^2_{2n,1-\frac{\alpha}{2}}χ2n,1−2α2分别为χ2n2\chi^2_{2n}χ2n2的α/2,1−α/2\alpha/2,1-\alpha/2α/2,1−α/2分位点，则
P(χ2n,α22≤Q≤χ2n,1−α22)=1−αP(\chi^2_{2n,\frac{\alpha}{2}} \le Q \le \chi^2_{2n,1-\frac{\alpha}{2}}) = 1-\alphaP(χ2n,2α2≤Q≤χ2n,1−2α2)=1−α

由此可以解出
P(nXˉ2χ2n,1−α22≤λ≤nXˉ2χ2n,α22)=1−αP(\frac{n\bar{X}}{2\chi^2_{2n,1-\frac{\alpha}{2}}} \le \lambda \le \frac{n\bar{X}}{2\chi^2_{2n,\frac{\alpha}{2}}}) = 1-\alphaP(2χ2n,1−2α2nXˉ≤λ≤2χ2n,2α2nXˉ)=1−α

因此λ\lambdaλ的1−α1-\alpha1−α置信区间为
{λ:nXˉ2χ2n,1−α22≤λ≤nXˉ2χ2n,α22}\{\lambda:\frac{n\bar{X}}{2\chi^2_{2n,1-\frac{\alpha}{2}}} \le \lambda \le \frac{n\bar{X}}{2\chi^2_{2n,\frac{\alpha}{2}}}\}{λ:2χ2n,1−2α2nXˉ≤λ≤2χ2n,2α2nXˉ}

例2 {Xi}i=1n∼iidU(0,θ)\{X_i\}_{i=1}^n \sim_{iid} U(0,\theta){Xi}i=1n∼iidU(0,θ)，求θ\thetaθ的1−α1-\alpha1−α置信区间
写出样本的联合似然函数
L(θ)=∏i=1nI(Xi≤θ)θ=I(X(n)≤θ)θnL(\theta) = \prod_{i=1}^n \frac{I( X_i\le \theta)}{\theta} = \frac{I(X_{(n)} \le \theta)}{\theta^n}L(θ)=i=1∏nθI(Xi≤θ)=θnI(X(n)≤θ)

根据Neyman-Fisher定理，X(n)X_{(n)}X(n)是充分统计量。如果根据X(n)X_{(n)}X(n)构造置信区间的话，先分析一下它的分布，
P(X(n)≤y)=P(max⁡Xi≤y)=∏i=1nP(Xi≤y)=ynθnP(X_{(n)} \le y) = P(\max X_i \le y) = \prod_{i=1}^n P(X_i \le y) = \frac{y^n}{\theta^n}P(X(n)≤y)=P(maxXi≤y)=i=1∏nP(Xi≤y)=θnyn

构造枢轴量
Q=X(n)θQ = \frac{X_{(n)}}{\theta}Q=θX(n)

则P(Q≤y)=P(X(n)≤θy)=yn,y∈[0,1]P(Q \le y) = P(X_{(n)} \le \theta y) = y^n,y \in [0,1]P(Q≤y)=P(X(n)≤θy)=yn,y∈[0,1]，QQQ的α/2\alpha/2α/2与1−α21-\frac{\alpha}{2}1−2α为(α2)1/n\left( \frac{\alpha}{2}\right)^{1/n}(2α)1/n和(1−α2)1/n\left(1- \frac{\alpha}{2}\right)^{1/n}(1−2α)1/n，即
P((α2)1/n≤Q≤(1−α2)1/n)=1−αP(\left( \frac{\alpha}{2}\right)^{1/n} \le Q \le \left(1- \frac{\alpha}{2}\right)^{1/n}) = 1-\alphaP((2α)1/n≤Q≤(1−2α)1/n)=1−α

所以
P(X(n)(1−α2)1/n≤θ≤X(n)(α2)1/n)=1−αP(\frac{X_{(n)}}{\left(1- \frac{\alpha}{2}\right)^{1/n}} \le \theta \le \frac{X_{(n)}}{\left(\frac{\alpha}{2}\right)^{1/n}} ) = 1-\alphaP((1−2α)1/nX(n)≤θ≤(2α)1/nX(n))=1−α

也可以用矩估计来构造置信区间，
θ^=2n∑i=1nXi\hat{\theta} = \frac{2}{n}\sum_{i=1}^n X_iθ^=n2i=1∑nXi

这时构造的枢轴量是
Q=nθ^2θQ = \frac{n\hat{\theta}}{2\theta}Q=2θnθ^

它服从参数为nnn的Ising-Hall分布。

UA MATH566 统计理论用点估计构造置信区间相关推荐

UA MATH566 统计理论2 点估计基础
UA MATH566 统计理论2 点估计基础 Rao-Blackwell定理 UMVUE 矩估计最大似然估计不变性与截面似然 Rao-Blackwell定理统计推断的问题一般用统计决策理论的术语 ...
UA MATH566 统计理论8 用Pivot构造置信区间
UA MATH566 统计理论8 用Pivot构造置信区间用Pivot构造置信区间一般性方法最优置信区间置信区间的频率派解释上一讲介绍的构造置信区间的方法是根据假设检验导出置信区间,但我们感 ...
UA MATH566 统计理论8 置信区间简介
UA MATH566 统计理论8 置信区间简介例1:单个正态总体均值的置信区间(方差已知) 例2:单个正态总体均值的置信区间(方差未知) 假设检验与置信区间的关系例3:根据单边检验导出单边置信区间 ...
UA MATH566 统计理论10 Bootstrap简介
UA MATH566 统计理论10 Bootstrap简介 Bootstrap是用来替代基于CDF的一些统计计算的手段:当真实的CDF(记为F∈FF \in \mathbb{F}F∈F,F\mathb ...
UA MATH566 统计理论 Bayes统计基础
UA MATH566 统计理论 Bayes统计基础共轭分布基于后验概率预测新的观测值 Bayes统计思想的基础是Bayes公式 P(Ci∣A)=P(A,Ci)P(A)=P(A∣Ci)P(Ci)∑i ...
UA MATH566 统计理论证明UMVUE的方法
UA MATH566 统计理论证明UMVUE的方法方法一零无偏估计法方法二完备充分统计量法关于UMVUE,我们有下面两个非常常用的结论: Lehmann-Sheffe定理: 如果g(θ^) ...
UA MATH566 统计理论2 C-R不等式简介
UA MATH566 统计理论2 C-R不等式单个参数的情形多个参数的情形点估计基础那一篇讨论到UMVUE了,这一讲试图给出无偏估计方差的一个下界.在统计理论1中推导的Fisher信息其实就是一 ...
UA MATH566 统计理论4 贝叶斯统计基础1
UA MATH566 统计理论4 贝叶斯统计基础1 贝叶斯公式贝叶斯充分统计量这一讲讨论贝叶斯统计的一些基础思想,会分成三个部分,第一部分讨论贝叶斯统计的设定:第二部分讨论贝叶斯统计的估计与假设检 ...
UA MATH566 统计理论7: Multiple Test
UA MATH566 统计理论7: Multiple Test Bonferroni调整 Benjamini-Hochberg方法 Fisher方法 False Discovery Rate Mult ...

UA MATH566 统计理论用点估计构造置信区间

UA MATH566 统计理论用点估计构造置信区间

用点估计构造置信区间

UA MATH566 统计理论用点估计构造置信区间相关推荐

最新文章

热门文章

UA MATH566 统计理论 用点估计构造置信区间

UA MATH566 统计理论 用点估计构造置信区间

用点估计构造置信区间

UA MATH566 统计理论 用点估计构造置信区间相关推荐

最新文章

热门文章

UA MATH566 统计理论用点估计构造置信区间

UA MATH566 统计理论用点估计构造置信区间

UA MATH566 统计理论用点估计构造置信区间相关推荐