06.Delta 方法

如果我们有估计量TnT_nTn用来估计参数θ\thetaθ。若 TnT_nTn以某种收敛到θ\thetaθ并且ggg连续,由连续映射定理可知相应的g(Tn)g(T_n)g(Tn)也收敛到g(θ)g(\theta)g(θ)。当n(Tn−θ)\sqrt{n} (T_n-\theta)n(Tn−θ)收敛到某一分布时，在一定条件下根据以下Delta方法可以得到n(g(Tn)−g(θ))\sqrt{n} (g(T_n)-g(\theta))n(g(Tn)−g(θ))也会收敛到某一分布。

定理 6.1（一元Delta方法）：设 n(Tn−θ)→dN(0,σ2(θ))\sqrt{n}\left(T_{n}-\theta\right) \stackrel{d}{\rightarrow} N\left(0, \sigma^{2}(\theta)\right)n(Tn−θ)→dN(0,σ2(θ)). 令 g:R↦Rg: \mathbb{R} \mapsto \mathbb{R}g:R↦R 在 θ\thetaθ 可微且 g′(θ)≠0.g^{\prime}(\theta) \neq 0 .g′(θ)=0. 则
n{g(Tn)−g(θ)}→dN(0,{g′(θ)}2σ2(θ))\sqrt{n}\left\{g\left(T_{n}\right)-g(\theta)\right\} \stackrel{d}{\rightarrow} N\left(0,\left\{g^{\prime}(\theta)\right\}^{2} \sigma^{2}(\theta)\right) n{g(Tn)−g(θ)}→dN(0,{g′(θ)}2σ2(θ))

更一般地，设 rn(Tn−θ)→dTr_{n}\left(T_{n}-\theta\right) \stackrel{d}{\rightarrow} Trn(Tn−θ)→dT ，其中 TTT为随机变量 (不一定服从正态分布)， rn→∞r_{n} \rightarrow \inftyrn→∞ (并不一定为 n1/2n^{1 / 2}n1/2 )。如果 ggg 在 θ\thetaθ可微且 g′(θ)≠0g^{\prime}(\theta) \neq 0g′(θ)=0, 则
rn{g(Tn)−g(θ)}→dg′(θ)Tr_{n}\left\{g\left(T_{n}\right)-g(\theta)\right\} \stackrel{d}{\rightarrow} g^{\prime}(\theta) T rn{g(Tn)−g(θ)}→dg′(θ)T

如果 g′(θ)=0g^{\prime}(\theta)=0g′(θ)=0, 那么得到的极限分布为一退化分布。则对g(Tn)g(T_n)g(Tn)考虑更高阶的展开
g(Tn)=g(θ)+g′′(θ)(Tn−θ)22+op{(Tn−θ)2}g\left(T_{n}\right)=g(\theta)+g^{\prime \prime}(\theta) \frac{\left(T_{n}-\theta\right)^{2}}{2}+o_{p}\left\{\left(T_{n}-\theta\right)^{2}\right\} g(Tn)=g(θ)+g′′(θ)2(Tn−θ)2+op{(Tn−θ)2}
则有
n{g(Tn)−g(θ)}=g′′(θ){n(Tn−θ)}22+op(1)→dg′′(θ)σ2(θ)2χ12\begin{aligned} n\left\{g\left(T_{n}\right)-g(\theta)\right\} &=g^{\prime \prime}(\theta) \frac{\left\{\sqrt{n}\left(T_{n}-\theta\right)\right\}^{2}}{2}+o_{p}(1) \\ & \stackrel{d}{\rightarrow} \frac{g^{\prime \prime}(\theta) \sigma^{2}(\theta)}{2} \chi_{1}^{2} \end{aligned} n{g(Tn)−g(θ)}=g′′(θ)2{n(Tn−θ)}2+op(1)→d2g′′(θ)σ2(θ)χ12

由此给出定理6.2

定理6.2：设 n(Tn−θ)→dN(0,σ2(θ))\sqrt{n}\left(T_{n}-\theta\right) \stackrel{d}{\rightarrow} N\left(0, \sigma^{2}(\theta)\right)n(Tn−θ)→dN(0,σ2(θ)). 令 g:R↦Rg: \mathbb{R} \mapsto \mathbb{R}g:R↦R 在 θ\thetaθ k阶可微且 g(j)(θ)=0g^{(j)}(\theta)=0g(j)(θ)=0 ∀j<k\forall j<k∀j<k 但 g(k)(θ)≠0g^{(k)}(\theta) \neq 0g(k)(θ)=0. 则
nk/2{g(Tn)−g(θ)}→dg(k)(θ)σk(θ)k!{N(0,1)}kn^{k / 2}\left\{g\left(T_{n}\right)-g(\theta)\right\} \stackrel{d}{\rightarrow} \frac{g^{(k)}(\theta) \sigma^{k}(\theta)}{k !}\{N(0,1)\}^{k} nk/2{g(Tn)−g(θ)}→dk!g(k)(θ)σk(θ){N(0,1)}k

例：设 X1,X2,…,XnX_{1}, X_{2}, \ldots, X_{n}X1,X2,…,Xn 为 i.i.d.随机变量有均值 μ\muμ, 方差 σ2\sigma^{2}σ2 且有 E(X14)<∞\mathrm{E}\left(X_{1}^{4}\right)<\inftyE(X14)<∞。由CMT即Slutsky定理知 n(Sn2−σ2)→dN(0,μ4−σ4)\sqrt{n}\left(S_{n}^{2}-\sigma^{2}\right) \stackrel{d}{\rightarrow} N\left(0, \mu_{4}-\sigma^{4}\right)n(Sn2−σ2)→dN(0,μ4−σ4)。令g(x)=xg(x)=\sqrt{x}g(x)=x,由Delta方法可知n(Sn−σ)→dN(0,μ4−σ44σ2)\sqrt{n}\left(S_{n}-\sigma\right) \stackrel{d}{\rightarrow} N\left(0, \frac{\mu_{4}-\sigma^{4}}{4 \sigma^{2}}\right)n(Sn−σ)→dN(0,4σ2μ4−σ4)

以下给出多元情形Delta方法

定理6.3（Delta方法）：设
n(Tn−θ)→dNp(0,Σ(θ))\sqrt{n}\left(\boldsymbol{T}_{n}-\boldsymbol{\theta}\right) \stackrel{d}{\rightarrow} N_{p}(\mathbf{0}, \Sigma(\boldsymbol{\theta}))n(Tn−θ)→dNp(0,Σ(θ)). 令 g:Rp↦Rm\boldsymbol{g}: \mathbb{R}^{p} \mapsto \mathbb{R}^{m}g:Rp↦Rm 在 θ\boldsymbol{\theta}θ 可微且有非零梯度 ∇g(θ)\nabla \mathbf{g}(\boldsymbol{\theta})∇g(θ)。则 n{g(Tn)−g(θ)}→dNm(0,∇⊤g(θ)Σ(θ)∇g(θ))\sqrt{n}\left\{\boldsymbol{g}\left(\boldsymbol{T}_{n}\right)-\boldsymbol{g}(\boldsymbol{\theta})\right\} \stackrel{d}{\rightarrow} N_{m}\left(\mathbf{0}, \nabla^{\top} \boldsymbol{g}(\boldsymbol{\theta}) \Sigma(\boldsymbol{\theta}) \nabla \boldsymbol{g}(\boldsymbol{\theta})\right) n{g(Tn)−g(θ)}→dNm(0,∇⊤g(θ)Σ(θ)∇g(θ))

例：设 X1,X2,…,XnX_{1}, X_{2}, \ldots, X_{n}X1,X2,…,Xn 为 i.i.d.随机变量有均值 μ\muμ, 方差 σ2\sigma^{2}σ2 且有 E(X14)<∞\mathrm{E}\left(X_{1}^{4}\right)<\inftyE(X14)<∞。则有

n(Xˉn−μSn2−σ2)→dN2((00),(σ2μ3μ3μ4−σ4))\sqrt{n}\left(\begin{array}{c}\bar{X}_{n}-\mu \\ S_{n}^{2}-\sigma^{2}\end{array}\right) \stackrel{d}{\rightarrow} N_{2}\left(\left(\begin{array}{l}0 \\ 0\end{array}\right),\left(\begin{array}{cc}\sigma^{2} & \mu_{3} \\ \mu_{3} & \mu_{4}-\sigma^{4}\end{array}\right)\right)n(Xˉn−μSn2−σ2)→dN2((00),(σ2μ3μ3μ4−σ4))

例：方差平稳变换（VST）g(θ)=∫1σ(θ)dθg(\theta)=\int \frac{1}{\sigma(\theta)} \mathrm{d} \thetag(θ)=∫σ(θ)1dθ

极限理论总结04：Delta方法相关推荐

UA MATH566 统计理论 Cramer-Rao不等式与Delta方法的联系
UA MATH566 统计理论 Cramer-Rao不等式与Delta方法的联系 Delta方法与C-R不等式基本概念回顾 Delta方法近似 C-R不等式近似推导Delta方法与C-R不等式近似相 ...
UA MATH564 概率论 QE练习题概率极限理论
UA MATH564 概率论 QE练习题概率极限理论 2015/5/3 2016/1/3 这是2015年5月的3题.2016年1月的3题 2015/5/3 这个题干有点意思,有一列随机变量但并不是互 ...
UA MATH566 统计理论证明UMVUE的方法
UA MATH566 统计理论证明UMVUE的方法方法一零无偏估计法方法二完备充分统计量法关于UMVUE,我们有下面两个非常常用的结论: Lehmann-Sheffe定理: 如果g(θ^) ...
一种基于物理信息极限学习机的PDE求解方法
**作者|**PINN山里娃,作者主页 **研究方向|**物理信息驱动深度学习不确定性人工智能偏微分方程极限学习机该作者聚焦深度学习模型与物理信息结合前沿研究,提供了一系列AI for sc ...
数学分析-第一章-极限理论
第一章极限理论1 1.1 数列的极限 1.1.1 数列极限的定义定义(ϵ−N\epsilon-Nϵ−N) {xn}\{x_n\}{xn}是已知数列,aaa为已知实数,如果对任给ϵ>0\ep ...
caffe2安装篇（二） ubuntu16.04 安装方法
caffe2 ubuntu16.04 安装方法 Caffe2的安装相比于caffe在安装的时候更加简便,略去了Makefile.config的各种配置,对于有无GPU以及各种可选库例如opencv,a ...
UA MATH566 统计理论完备性的证明方法
UA MATH566 统计理论完备性的证明方法定义法完备分布族法完备性是统计量的非常重要的性质之一,但完备性的证明有时并不是是一件容易的事情,这一讲介绍一些常用的证明完备性的方法:定义法,完备 ...
极限理论总结01：随机变量的四种收敛、CMT及Slutsky定理
文章目录 01.极限理论的意义 02.随机变量的收敛性一些定义与记号依概率收敛几乎处处收敛 r阶矩收敛依分布收敛几种收敛间的关系 OOO 和ooo 连续映射定理 Slutsky定理 01.极 ...
服务拆分理论和原理及方法
服务拆分理论和原理及方法谈到微服务,议论的最多,吵架的最多的就是服务拆分问题,服务拆分是否合理直接影响到微服务架构的复杂性.稳定性以及可扩展性.然而并没有任何一本书籍或者规范来介绍如何拆分服务,那么 ...
概率导论(极限理论)
概率导论-极限理论笔记前言马尔可夫和切比雪夫不等式马尔可夫不等式切比雪夫不等式弱大数定律依概率收敛中心极限定理中心极限定理的内容近似计算强大数定律以概率1收敛前言讨论的是随机 ...

极限理论总结04：Delta方法

06.Delta 方法

极限理论总结04：Delta方法相关推荐

最新文章

热门文章