UA MATH566 统计理论8 置信区间简介

例1：单个正态总体均值的置信区间（方差已知）
例2：单个正态总体均值的置信区间（方差未知）
假设检验与置信区间的关系
- 例3：根据单边检验导出单边置信区间
- 例4：两正态样本的t检验导出置信区间
- - 配对t检验导出置信区间
  - 两样本t检验导出置信区间

置信区间（confidential interval，CI）也叫区间估计，是另一种做统计推断的方法，和假设检验密切相关。统计量的质量一般用它的bias和variance来衡量，点估计的话不太能直观地表示这两个概念，所以又定义了区间估计C^(X)⊂Θ\hat{C}(X) \subset \ThetaC^(X)⊂Θ，定义
P{θ∈C^(X)}P\{\theta \in \hat{C}(X)\}P{θ∈C^(X)}
为covering probability。定义C^\hat{C}C^是γ\gammaγ-level 置信区间，如果covering probability为γ\gammaγ。

以Θ=R\Theta =\mathbb{R}Θ=R为例，置信区间一般有双边置信区间、右侧置信区间、左侧置信区间：

双侧：C^(X)={θ:θ^l≤θ≤θ^u}\hat{C}(X) = \{\theta:\hat{\theta}_l \le \theta \le \hat{\theta}_u\}C^(X)={θ:θ^l≤θ≤θ^u}，通常根据点估计构造上界和下界θ^(X)+/−m(X)\hat{\theta}(X) +/- m(X)θ^(X)+/−m(X)
with upper confidential bound：C^(X)={θ:−∞≤θ≤θ^u}\hat{C}(X) = \{\theta:-\infty\le \theta \le \hat{\theta}_u\}C^(X)={θ:−∞≤θ≤θ^u}
with lower confidential bound：C^(X)={θ:θ^l≤θ≤∞}\hat{C}(X) = \{\theta:\hat{\theta}_l \le \theta \le \infty\}C^(X)={θ:θ^l≤θ≤∞}

通常使用双侧的置信区间，只有当我们只想要一个稳健的上界或者下界时，可以用单侧的置信区间。

例1：单个正态总体均值的置信区间（方差已知）

假设X1,X2,⋯,Xn∼iidN(μ,σ02)X_1,X_2,\cdots,X_n\sim_{iid} N(\mu,\sigma^2_0)X1,X2,⋯,Xn∼iidN(μ,σ02)，其中σ2\sigma^2σ2已知，想要构造μ\muμ的置信区间，可以根据点估计构造上界和下界θ^(X)+/−m(X)\hat{\theta}(X) +/- m(X)θ^(X)+/−m(X)。μ\muμ的点估计为Xˉ\bar{X}Xˉ，我们知道Z统计量
Z=Xˉ−μσ0/n∼N(0,1)Z = \frac{\bar{X}-\mu}{\sigma_0/\sqrt{n}} \sim N(0,1)Z=σ0/nXˉ−μ∼N(0,1)
要根据这个构造γ\gammaγ-level置信区间，考虑
P(Xˉ−m(X)≤μ≤Xˉ+m(X))=γ⇒P(−m(X)≤Xˉ−μ≤m(X))=γ⇒P(−m(X)σ0/n≤Xˉ−μσ0/n≤m(X)σ0/n)=γ⇒1−2P(Z>m(X)σ0/n)=γP(\bar{X}-m(X) \le \mu \le \bar{X}+m(X)) = \gamma \\ \Rightarrow P(-m(X) \le\bar{X}-\mu \le m(X)) = \gamma \\ \Rightarrow P\left( -\frac{m(X)}{\sigma_0/\sqrt{n}} \le\frac{\bar{X}-\mu}{\sigma_0 /\sqrt{n}} \le \frac{m(X)}{\sigma_0/\sqrt{n}}\right) = \gamma \\ \Rightarrow 1-2P(Z > \frac{m(X)}{\sigma_0/\sqrt{n}}) = \gammaP(Xˉ−m(X)≤μ≤Xˉ+m(X))=γ⇒P(−m(X)≤Xˉ−μ≤m(X))=γ⇒P(−σ0/nm(X)≤σ0/nXˉ−μ≤σ0/nm(X))=γ⇒1−2P(Z>σ0/nm(X))=γ
所以，记zαz_{\alpha}zα为标准正态分布的上分位点，则
m(X)σ0/n=z1−γ2⇒m(X)=σ0nz1−γ2\frac{m(X)}{\sigma_0/\sqrt{n}} = z_{\frac{1-\gamma}{2}} \Rightarrow m(X) = \frac{\sigma_0}{\sqrt{n}} z_{\frac{1-\gamma}{2}}σ0/nm(X)=z21−γ⇒m(X)=nσ0z21−γ
因此单个正态总体均值的置信区间上下界为：
Xˉ+/−σ0nz1−γ2\bar{X} +/- \frac{\sigma_0}{\sqrt{n}} z_{\frac{1-\gamma}{2}}Xˉ+/−nσ0z21−γ

例2：单个正态总体均值的置信区间（方差未知）

同样构造双侧置信区间，但方差未知，可以考虑t统计量
T=Xˉ−μS/n∼t(n−1)T = \frac{\bar{X}-\mu}{S/\sqrt{n}} \sim t(n-1)T=S/nXˉ−μ∼t(n−1)
用例1类似的推导可以得到
m(X)=Sntn−1,1−γ2m(X) = \frac{S}{\sqrt{n}} t_{n-1,\frac{1-\gamma}{2}}m(X)=nStn−1,21−γ
因此方差未知时，单个正态总体均值的置信区间上下界为：
Xˉ+/−Sntn−1,1−γ2\bar{X} +/- \frac{S}{\sqrt{n}} t_{n-1,\frac{1-\gamma}{2}}Xˉ+/−nStn−1,21−γ
从图上可以直观地看一下这个置信区间的样子，这里用我老师的slides

大概表达的意思就是如果检验水平α=1−γ\alpha=1-\gammaα=1−γ，那么置信区间的端点和拒绝域的端点就重合了，拒绝域正好在置信区间之外，二者的并就是R\mathbb{R}R。

假设检验与置信区间的关系

根据上面这个例子，我们可以发现γ=1−α\gamma=1-\alphaγ=1−α的时候，假设检验与置信区间可以得出一样的推断。
定理 θ∈Θ⊂R\theta \in \Theta \subset \mathbb{R}θ∈Θ⊂R，则关于θ\thetaθ的假设检验的1−γ1-\gamma1−γ接受域与γ\gammaγ置信区间重合。
根据定义就可以判断这个定理成立，太简单了这里略去。

例3：根据单边检验导出单边置信区间

在例2的基础上，考虑单边检验
H0:μ≤μ0Ha:μ>μ0H_0:\mu \le \mu_0 \\ H_a:\mu > \mu_0H0:μ≤μ0Ha:μ>μ0
统计理论7推导t检验的那个例子中，要在单边检验中拒绝掉原假设，T(X)>0T(X)>0T(X)>0，因此根据似然比检验的原理会导出
(cα−1)(n−1)≤T(X)\sqrt{(c_{\alpha}-1)(n-1)} \le T(X)(cα−1)(n−1)≤T(X)
UMP的拒绝域为
{X:T(X)≥t(α,n−1)}\{X:T(X)\ge t(\alpha,n-1)\}{X:T(X)≥t(α,n−1)}
也就是说1−α1-\alpha1−α的置信区间就是
{X:T(X)≤t(α,n−1)}\{X:T(X)\le t(\alpha,n-1)\}{X:T(X)≤t(α,n−1)}

例4：两正态样本的t检验导出置信区间

配对t检验导出置信区间

考虑配对样本X1,⋯,Xn∼iidN(μ1,σ12)X_1,\cdots,X_n \sim_{iid}N(\mu_1,\sigma^2_1)X1,⋯,Xn∼iidN(μ1,σ12)，Y1,⋯,Yn∼iidN(μ2,σ22)Y_1,\cdots,Y_n\sim_{iid}N(\mu_2,\sigma^2_2)Y1,⋯,Yn∼iidN(μ2,σ22)：
E[Xˉ−Yˉ]=μ1−μ2Var(Xi−Yi)=σ12+σ22Var(Xˉ−Yˉ)=σ12+σ22nE[\bar{X}-\bar{Y}] = \mu_1 - \mu_2 \\ Var(X_i-Y_i) = \sigma_1^2 + \sigma_2^2 \\Var(\bar{X} - \bar{Y}) = \frac{\sigma^2_1 + \sigma^2_2}{n}E[Xˉ−Yˉ]=μ1−μ2Var(Xi−Yi)=σ12+σ22Var(Xˉ−Yˉ)=nσ12+σ22
假设
S2=1n−1∑i=1n[(Xi−Yi)−(Xˉ−Yˉ)]2S^2 = \frac{1}{n-1}\sum_{i=1}^n [(X_i-Y_i) - (\bar{X} - \bar{Y})]^2S2=n−11i=1∑n[(Xi−Yi)−(Xˉ−Yˉ)]2
则t统计量为
T=Xˉ−Yˉ−(μ1−μ2)S/n∼t(n−1)T = \frac{\bar{X}-\bar{Y} - (\mu_1 - \mu_2)}{S/\sqrt{n }} \sim t(n-1)T=S/nXˉ−Yˉ−(μ1−μ2)∼t(n−1)
根据这个统计量可以用来构造假设检验或者置信区间。配对t检验其实是单因素试验设计的例子，试验设计那个系列单因素试验设计的统计模型就是从配对t检验推广来的。

两样本t检验导出置信区间

考虑来自两个不同正态总体的样本样本X1,⋯,Xn1∼iidN(μ1,σ12)X_1,\cdots,X_{n_1} \sim_{iid}N(\mu_1,\sigma^2_1)X1,⋯,Xn1∼iidN(μ1,σ12)，Y1,⋯,Yn2∼iidN(μ2,σ22)Y_1,\cdots,Y_{n_2}\sim_{iid}N(\mu_2,\sigma^2_2)Y1,⋯,Yn2∼iidN(μ2,σ22)：
E[Xˉ−Yˉ]=μ1−μ2Var(Xi−Yi)=σ12+σ22Var(Xˉ−Yˉ)=σ12n1+σ22n2E[\bar{X}-\bar{Y}] = \mu_1 - \mu_2 \\ Var(X_i-Y_i) = \sigma_1^2 + \sigma_2^2 \\Var(\bar{X} - \bar{Y}) = \frac{\sigma^2_1}{n_1} + \frac{\sigma^2_2}{n_2}E[Xˉ−Yˉ]=μ1−μ2Var(Xi−Yi)=σ12+σ22Var(Xˉ−Yˉ)=n1σ12+n2σ22
显然这时的Var(Xˉ−Yˉ)Var(\bar{X}-\bar{Y})Var(Xˉ−Yˉ)与配对t检验就不一样了，它的无偏估计是
S2=S12n1+S22n2S^2 = \frac{S^2_1}{n_1} + \frac{S^2_2}{n_2}S2=n1S12+n2S22
比较直观，根据这个构造的t统计量为
T=Xˉ−Yˉ−(μ1−μ2)S∼t(ν)T = \frac{\bar{X}-\bar{Y} - (\mu_1 - \mu_2)}{S} \sim t(\nu)T=SXˉ−Yˉ−(μ1−μ2)∼t(ν)
它的自由度非常复杂，可以根据Welch-Satterthwaite方程导出，主要是为了解决异方差性。

UA MATH566 统计理论8 置信区间简介相关推荐

UA MATH566 统计理论10 Bootstrap简介
UA MATH566 统计理论10 Bootstrap简介 Bootstrap是用来替代基于CDF的一些统计计算的手段:当真实的CDF(记为F∈FF \in \mathbb{F}F∈F,F\mathb ...
UA MATH566 统计理论5 假设检验简介
UA MATH566 统计理论5 假设检验简介 Neyman-Pearson Lemma 一个例子构造拒绝域分析检验的势 ROC曲线这一讲根据最简单的一类假设检验介绍假设检验的思想.假设θ0,θ ...
UA MATH566 统计理论用点估计构造置信区间
UA MATH566 统计理论用点估计构造置信区间用点估计构造置信区间置信区间(confidential interval,CI)也叫区间估计,是另一种做统计推断的方法,和假设检验密切相关.统计 ...
UA MATH566 统计理论8 用Pivot构造置信区间
UA MATH566 统计理论8 用Pivot构造置信区间用Pivot构造置信区间一般性方法最优置信区间置信区间的频率派解释上一讲介绍的构造置信区间的方法是根据假设检验导出置信区间,但我们感 ...
UA MATH566 统计理论2 C-R不等式简介
UA MATH566 统计理论2 C-R不等式单个参数的情形多个参数的情形点估计基础那一篇讨论到UMVUE了,这一讲试图给出无偏估计方差的一个下界.在统计理论1中推导的Fisher信息其实就是一 ...
UA MATH566 统计理论 Bayes统计基础
UA MATH566 统计理论 Bayes统计基础共轭分布基于后验概率预测新的观测值 Bayes统计思想的基础是Bayes公式 P(Ci∣A)=P(A,Ci)P(A)=P(A∣Ci)P(Ci)∑i ...
UA MATH566 统计理论 Cramer-Rao不等式与Delta方法的联系
UA MATH566 统计理论 Cramer-Rao不等式与Delta方法的联系 Delta方法与C-R不等式基本概念回顾 Delta方法近似 C-R不等式近似推导Delta方法与C-R不等式近似相 ...
UA MATH566 统计理论4 贝叶斯统计基础1
UA MATH566 统计理论4 贝叶斯统计基础1 贝叶斯公式贝叶斯充分统计量这一讲讨论贝叶斯统计的一些基础思想,会分成三个部分,第一部分讨论贝叶斯统计的设定:第二部分讨论贝叶斯统计的估计与假设检 ...
UA MATH566 统计理论一个例题 Hierarchical Model的统计性质
UA MATH566 统计理论一个例题 Hierarchical Model的统计性质 Y∣X∼Pois(X)Y|X \sim Pois(X)Y∣X∼Pois(X) and X∼Γ(α,β)X \s ...

UA MATH566 统计理论8 置信区间简介

UA MATH566 统计理论8 置信区间简介

例1：单个正态总体均值的置信区间（方差已知）

例2：单个正态总体均值的置信区间（方差未知）

假设检验与置信区间的关系

例3：根据单边检验导出单边置信区间

例4：两正态样本的t检验导出置信区间

配对t检验导出置信区间

两样本t检验导出置信区间

UA MATH566 统计理论8 置信区间简介相关推荐

最新文章

热门文章