UA MATH566 统计理论8 用Pivot构造置信区间

用Pivot构造置信区间
一般性方法
最优置信区间
- 置信区间的频率派解释

上一讲介绍的构造置信区间的方法是根据假设检验导出置信区间，但我们感兴趣的分布不一定有耳熟能详的假设检验，就只能考虑用其他方法。这一讲介绍用Pivot构造置信区间。对于样本 X={X1,⋯,Xn},Xi∈RX=\{X_1,\cdots,X_n\},X_i \in \mathbb{R}X={X1,⋯,Xn},Xi∈R，定义 Q(X,θ)Q(X,\theta)Q(X,θ)，如果它的分布与参数 θ\thetaθ无关，则 QQQ被称为pivot。需要注意的是Pivot和辅助统计量是不同的东西，Pivot是下面这样的映射
Q(x,θ):Rn×Θ→RlQ(x,\theta): \mathbb{R}^n \times \Theta \to \mathbb{R}^lQ(x,θ):Rn×Θ→Rl
原像空间是样本和参数空间的直积，而辅助统计量只是样本的函数。

例1 Location Family的Pivot
用f(x−θ)f(x-\theta)f(x−θ)表示Location family的密度函数，则
Q(X,θ)=∑i=1nai(Xi−θ)Q(X,\theta) = \sum_{i=1}^n a_i (X_i - \theta)Q(X,θ)=i=1∑nai(Xi−θ)
是pivot，其中aia_iai是常数，所有的aia_iai不能同时为0，比如aia_iai取1/n1/n1/n，那Q(X,θ)=Xˉ−θQ(X,\theta)=\bar{X}-\thetaQ(X,θ)=Xˉ−θ。这个构造比较直观，因为Xi−θX_i-\thetaXi−θ的密度函数就是把f(x−θ)f(x-\theta)f(x−θ)向右平移θ\thetaθ，也就是f(x)f(x)f(x)。

例2 Scale Family的Pivot
用1βf(x/β)\frac{1}{\beta}f(x/\beta)β1f(x/β)表示Scale family的密度函数，则
Q(X,θ)=∑i=1naiXiβQ(X,\theta) = \frac{\sum_{i=1}^n a_i X_i}{\beta}Q(X,θ)=β∑i=1naiXi
是pivot，其中aia_iai是常数，所有的aia_iai不能同时为0，比如aia_iai取111，那Q(X,θ)=∑i=1nXiβQ(X,\theta)=\frac{\sum_{i=1}^n X_i}{\beta}Q(X,θ)=β∑i=1nXi。这个构造也比较直观，因为Xi/βX_i/\betaXi/β的密度函数就是把f(x/β)f(x/\beta)f(x/β)沿xxx轴拉长β\betaβ倍变成f(x)f(x)f(x)。

例3 Location-Scale Family的Pivot
用1βf((x−θ)/β)\frac{1}{\beta}f((x-\theta)/\beta)β1f((x−θ)/β)表示Location-Scale family的密度函数，则
Q(X,θ)=∑i=1nai(Xi−θ)βQ(X,\theta) = \frac{\sum_{i=1}^n a_i (X_i-\theta)}{\beta}Q(X,θ)=β∑i=1nai(Xi−θ)
是pivot，其中aia_iai是常数，所有的aia_iai不能同时为0。同样用函数变换的方式就会发现Xi−θβ\frac{X_i-\theta}{\beta}βXi−θ的密度是f(x)f(x)f(x)。

用Pivot构造置信区间

假设有一个pivot Q(X,θ)Q(X,\theta)Q(X,θ)，假设存在l,ul,ul,u满足
P(l≤Q(X,θ)≤u)=γP(l \le Q(X,\theta) \le u) = \gammaP(l≤Q(X,θ)≤u)=γ
则C(X)={θ:l≤Q(X,θ)≤u}C(X) = \{\theta:l\le Q(X,\theta) \le u\}C(X)={θ:l≤Q(X,θ)≤u}满足P(θ∈C(X))=γP(\theta \in C(X)) = \gammaP(θ∈C(X))=γ，根据这个不等式
l≤Q(X,θ)≤ul \le Q(X,\theta) \le ul≤Q(X,θ)≤u
解出θ\thetaθ的取值范围就是一个γ\gammaγ-level的CI。

例如Q(X,θ)Q(X,\theta)Q(X,θ)关于θ\thetaθ单调递增，则根据
Q(X,θ^l)=l,Q(X,θ^u)=uQ(X,\hat{\theta}_l) = l,Q(X,\hat{\theta}_u) = uQ(X,θ^l)=l,Q(X,θ^u)=u
求解出θ^l(X)\hat{\theta}_l(X)θ^l(X)和θ^u(X)\hat{\theta}_u(X)θ^u(X)，就可以得到置信区间
C^(X)={θ:θ^l(X)≤θ≤θ^u(X)}\hat{C}(X) = \{\theta: \hat{\theta}_l(X) \le \theta \le \hat{\theta}_u(X)\}C^(X)={θ:θ^l(X)≤θ≤θ^u(X)}

例1续 Location Family的置信区间
用Q(X,θ)=Xˉ−θQ(X,\theta) = \bar{X}-\thetaQ(X,θ)=Xˉ−θ作为Location family的pivot，显然Q(X,θ)Q(X,\theta)Q(X,θ)关于θ\thetaθ是单调递减的，因此求解：
Q(X,θ^l)=Xˉ−θ^l=u⇒θ^l=Xˉ−uQ(X,θ^u)=Xˉ−θ^u=l⇒θ^u=Xˉ−lQ(X,\hat{\theta}_l) =\bar{X}-\hat{\theta}_l= u \Rightarrow \hat{\theta}_l = \bar{X}-u \\ Q(X,\hat{\theta}_u) =\bar{X}-\hat{\theta}_u= l \Rightarrow \hat{\theta}_u = \bar{X}-lQ(X,θ^l)=Xˉ−θ^l=u⇒θ^l=Xˉ−uQ(X,θ^u)=Xˉ−θ^u=l⇒θ^u=Xˉ−l
可以得到置信区间
C^(X)={θ:Xˉ−u≤θ≤Xˉ−l}\hat{C}(X) = \{\theta: \bar{X}-u\le \theta \le \bar{X}-l\}C^(X)={θ:Xˉ−u≤θ≤Xˉ−l}
其中l,ul,ul,u满足
P(l≤Q(X,θ)≤u)=γP(l \le Q(X,\theta) \le u) = \gammaP(l≤Q(X,θ)≤u)=γ

例4 均匀分布的pivot
因为这个操作太简单了，这里就提一下pivot选取。对于均匀分布U[0,θ]U[0,\theta]U[0,θ]，定义
Q(X,θ)=X(n)θ=(Xθ)(n)Q(X,\theta) = \frac{X_{(n)}}{\theta} = \left( \frac{X}{\theta} \right)_{(n)}Q(X,θ)=θX(n)=(θX)(n)
也就是说Q(X,θ)Q(X,\theta)Q(X,θ)的分布与U[0,1]U[0,1]U[0,1]的最后一个次序统计量的分布相同，即FQ(x)=xnF_{Q}(x) = x^nFQ(x)=xn，显然Q(X,θ)Q(X,\theta)Q(X,θ)是一个pivot。

一般性方法

如果不是Location-Scale Family，也没办法一眼找出Pivot出来，可以用下面这个定理。
定理如果统计量T(X)T(X)T(X)的分布为FT(t∣θ)F_T(t|\theta)FT(t∣θ)，假设α1\alpha_1α1和α2\alpha_2α2分别是置信区间左侧和右侧的之外的概率，即
P(θ<θ^l)=α1,P(θ>θ^u)=α2P(\theta < \hat{\theta}_l) = \alpha_1,P(\theta > \hat{\theta}_u) = \alpha_2P(θ<θ^l)=α1,P(θ>θ^u)=α2
如果α1+α2=1−γ\alpha_1 + \alpha_2=1-\gammaα1+α2=1−γ，FT(t∣θ)F_T(t|\theta)FT(t∣θ)关于θ\thetaθ递减，定义θ^l\hat{\theta}_lθ^l和θ^u\hat{\theta}_uθ^u满足
FT(t∣θ^u(t))=α1,FT(t∣θ^l(t))=1−α2F_T(t|\hat{\theta}_u(t)) = \alpha_1,F_T(t|\hat{\theta}_l(t)) = 1-\alpha_2FT(t∣θ^u(t))=α1,FT(t∣θ^l(t))=1−α2
则[θ^l(T),θ^u(T)][\hat{\theta}_l(T),\hat{\theta}_u(T)][θ^l(T),θ^u(T)]是γ\gammaγ-置信区间。

注：这个定理其实没啥好证的，因为
P{θ∈[θ^l(T),θ^u(T)]}=P{θ:α1≤FT(T∣θ)≤1−α2}P\{\theta \in [\hat{\theta}_l(T),\hat{\theta}_u(T)]\} = P\{\ \theta : \alpha_1 \le F_T(T|\theta) \le 1-\alpha_2\}P{θ∈[θ^l(T),θ^u(T)]}=P{ θ:α1≤FT(T∣θ)≤1−α2}
要推广到递增的情况或者单侧置信区间都比较直接。然后使用这个定理主要的问题就是怎么选统计量T(X)T(X)T(X)，个人建议是不知道挑啥就用充分统计量或者MLE吧，毕竟它们性质那么好不是放在那儿好看的。

例4续 均匀分布的置信区间（这道题我不想打了，直接贴我老师的slides）

最优置信区间

我们总是希望置信区间越短越好，可以写成最优化问题
min⁡E[θ^u−θ^l]s.t.P[θ^l≤θ≤θ^u]≥γ\min E[\hat{\theta}_u - \hat{\theta}_l] \\ s.t. P[\hat{\theta}_l \le \theta \le \hat{\theta}_u] \ge \gammaminE[θ^u−θ^l]s.t.P[θ^l≤θ≤θ^u]≥γ

有一个比较有用的性质，对于有单峰且对称的密度函数的统计量T(X)T(X)T(X)，最优置信区间一定也是对称的。这个性质可以给之前的双边Z检验和t检验提供依据。
证明
假设Θ⊂R\Theta \subset \mathbb{R}Θ⊂R，考虑上面那个优化的对偶问题：给定置信区间的长度为ccc，想要找一个左端点aaa使得置信区间覆盖的概率最大，即
max⁡aFT(a+c)−FT(a)\max_{a} F_T(a+c)-F_T(a)amaxFT(a+c)−FT(a)
简单求导一下
fT(a+c)−fT(a)=0f_T(a+c) - f_T(a)=0fT(a+c)−fT(a)=0
因为密度函数单峰且对称，根据这个一阶条件：aaa和a+ca+ca+c要关于a+c2a+\frac{c}{2}a+2c对称。

置信区间的频率派解释

置信区间的构造靠的是θ^l(X)\hat{\theta}_l(X)θ^l(X)和θ^u(X)\hat{\theta}_u(X)θ^u(X)这两个统计量，需要注意的是这两个统计量的表达式是我们在进行试验或者收集数据之前就自然存在的，他们是简单随机样本的函数，是两个随机变量。

一旦我们收集到了数据，相当于就有了一组简单随机样本的realization，这组数据就是确定的数，根据那两个统计量表达式确定出来的置信区间的上界和下界也就是确定的数，置信区间也就是一个确定的区间了。在统计频率派观点中，真实的参数值是确定的数值，因此这个确定的置信区间包含真实参数与否就是包含/不包含这两种确定的结果，包含就是包含，不包含就是不包含，不存在说包含的概率就是置信度。

那么置信度γ\gammaγ应该怎么理解呢？
如果我们重复抽取多组随机样本，每一组都算出一个置信区间，那么当我们抽取的随机样本的组数越来越多的时候，置信区间包含真实参数的频率也就越来越接近γ\gammaγ。这个才是按频率派对置信区间的解读。

UA MATH566 统计理论8 用Pivot构造置信区间相关推荐

UA MATH566 统计理论用点估计构造置信区间
UA MATH566 统计理论用点估计构造置信区间用点估计构造置信区间置信区间(confidential interval,CI)也叫区间估计,是另一种做统计推断的方法,和假设检验密切相关.统计 ...
UA MATH566 统计理论概念与定理总结
UA MATH566 统计理论概念与定理总结 Part 1 Exponential Family Tip 1: Form of Exponential Family f(x∣η)=h(x)exp⁡( ...
UA MATH566 统计理论证明UMVUE的方法
UA MATH566 统计理论证明UMVUE的方法方法一零无偏估计法方法二完备充分统计量法关于UMVUE,我们有下面两个非常常用的结论: Lehmann-Sheffe定理: 如果g(θ^) ...
UA MATH566 统计理论10 Bootstrap简介
UA MATH566 统计理论10 Bootstrap简介 Bootstrap是用来替代基于CDF的一些统计计算的手段:当真实的CDF(记为F∈FF \in \mathbb{F}F∈F,F\mathb ...
UA MATH566 统计理论8 置信区间简介
UA MATH566 统计理论8 置信区间简介例1:单个正态总体均值的置信区间(方差已知) 例2:单个正态总体均值的置信区间(方差未知) 假设检验与置信区间的关系例3:根据单边检验导出单边置信区间 ...
UA MATH566 统计理论7: Multiple Test
UA MATH566 统计理论7: Multiple Test Bonferroni调整 Benjamini-Hochberg方法 Fisher方法 False Discovery Rate Mult ...
UA MATH566 统计理论7 另一个例子：二项检验
UA MATH566 统计理论7 另一个例子:二项检验假设X1,X2,⋯,Xn∼Ber(p)X_1,X_2,\cdots,X_n \sim Ber(p)X1,X2,⋯,Xn∼Ber(p),想根 ...
UA MATH566 统计理论7 一个例子：推导T检验
UA MATH566 统计理论7 一个例子:推导T检验 T检验在math 571A和math 571B中已经用的很多了,这里按前两讲介绍的假设检验的理论回顾一下T检验,看一下T检验是怎么用似然比检验的 ...
UA MATH566 统计理论5 假设检验简介
UA MATH566 统计理论5 假设检验简介 Neyman-Pearson Lemma 一个例子构造拒绝域分析检验的势 ROC曲线这一讲根据最简单的一类假设检验介绍假设检验的思想.假设θ0,θ ...

UA MATH566 统计理论8 用Pivot构造置信区间

UA MATH566 统计理论8 用Pivot构造置信区间

用Pivot构造置信区间

一般性方法

最优置信区间

置信区间的频率派解释

UA MATH566 统计理论8 用Pivot构造置信区间相关推荐

最新文章

热门文章