统计学笔记1：截尾分布的矩估计与极大似然估计

截尾分布的矩估计与极大似然估计
在参数估计中，我们通常喜欢用极大似然估计来估计一个参数，这样估计的参数通常具有良好的性质，但有时其并不那么容易求解。在参数估计中，矩估计的计算方法较为简易，但其结果的偏差通常会很大。这里我将给出截尾分布的矩估计方法，截尾分布通常会出现在寿命试验中。

截尾分布
工程上最常见的常规寿命试验有以下几种。
1.定时截尾数据（Ⅰ型截尾）
从一个总体中，随机抽取n个进行寿命试验，每个产品试验进行到预定给定的时间ToT_oTo为止。这个方案叫作定时截尾方案，简称(n,T0)(n,T_0)(n,T0)方案。此方案下的寿终数据是t1,t2,...,tτ(0≤τ≤n)t_1,t_2,...,t_\tau(0 \leq\tau\leq n)t1,t2,...,tτ(0≤τ≤n)，右删失数据有n−τn-\taun−τ个，即tτ+1+=...=tn+=T0t_{\tau+1}^+=...=t_n^+=T_0tτ+1+=...=tn+=T0，τ\tauτ是随机变量。
2.定数截尾试验（Ⅱ型截尾）
从一个总体中，随机抽取n个进行寿命试验，试验正好进行到恰好出现第rrr个寿命时终止。这个方案叫作定数截尾方案，简称(n,r)(n,r)(n,r)方案。此方案下的寿终数据是t1,t2,...,tr(t1≤...≤tr)t_1,t_2,...,t_r(t_1\leq...\leq t_r)t1,t2,...,tr(t1≤...≤tr)，右删失数据有n−rn-rn−r个，即tr+1+=...=tn+=trt_{r+1}^+=...=t_n^+=t_rtr+1+=...=tn+=tr，trt_rtr是随机变量。
3.混合型数据（略）
极大似然估计(MLE)(MLE)(MLE)的求法
网上或教科书大多会有详细解法，故先简单说说它的解法。
MLE的难点就在于它的似然函数。举个最简单的例子：
求(n,r,T)(n,r,T)(n,r,T)型方案下参数为1/θ1/\theta1/θ的指数分布中θ\thetaθ的极大似然估计。
那么这里的似然函数就应该这样列：Ln(x1,x2,...,xr;θ)=n!(n−r)!∏i=1r(1θ⋅e−1θxi)⋅[e−1θxr]n−rL_n(x_1,x_2,...,x_r;\theta)=\frac{n!}{(n-r)!}\prod_{i=1}^r(\frac{1}{\theta}\cdot e^{-\frac{1}{\theta} x_i})\cdot [e^{-\frac{1}{\theta} x_r}]^{n-r}Ln(x1,x2,...,xr;θ)=(n−r)!n!i=1∏r(θ1⋅e−θ1xi)⋅[e−θ1xr]n−r这很好理解，就是前r个数据排序，后n−rn-rn−r的数据组合的概率密度函数。那么接下来对这个函数进行化简，两遍取对数，求极值，就可以得到答案：
θ^=∑i=1rxi+(n−r)xrr\hat{\theta}=\frac{\sum_{i=1}^rx_i+(n-r)x_r}{r}θ^=r∑i=1rxi+(n−r)xr
截尾分布的矩估计
我们知道，对于截尾数据这样的缺失数据，是无法使用常规的方法对它的参数进行矩估计的。下面的思路是在陈家鼎写的《生存分析》中找到的。
定时截尾情形下参数的矩估计
设随机变量X的分布G(x−μσ),x1,x2,...,xnG(\frac{x-\mu}{\sigma}),x_1,x_2,...,x_nG(σx−μ),x1,x2,...,xn是相互独立且同分布的随机变量，在(n,T)(n,T)(n,T)方案下得到的观测值是(y1,δ1),...,(yn,δn)(y_1,\delta_1),...,(y_n,\delta_n)(y1,δ1),...,(yn,δn)，解释一下，这里的δi\delta_iδi可以理解为被记录的标识变量，如被记录则为1，没有被记录则为0，其中，yi=min(xi,T),δi=I(x≤T)y_i=min({x_i,T}),\delta_i=I_{(x\leq T)}yi=min(xi,T),δi=I(x≤T)，在此提出一种矩估计方法：
令
G−1(u)=inf(x:G(x)≥u),(0<u<1)G^{-1}(u)=inf({x:G(x)\geq u}),(0<u<1)G−1(u)=inf(x:G(x)≥u),(0<u<1)，即反函数。h(p)=pG−1(u)−∫0pG−1(u)du,h(p)=pG^{-1}(u)-\int_0^pG^{-1}(u)du,h(p)=pG−1(u)−∫0pG−1(u)du,δ=I(x≤T)\delta=I_{(x\leq T)}δ=I(x≤T)aG=inf(x:G(x)>0),bG=sup(x:G(x)<1)a_G=inf(x:G(x)>0),b_G=sup(x:G(x)<1)aG=inf(x:G(x)>0),bG=sup(x:G(x)<1)p=P(x≤T)p=P(x\leq T)p=P(x≤T)
定理:设0<p<1,且G(x)是(aG,bG)0<p<1,且G(x)是(a_G,b_G)0<p<1,且G(x)是(aG,bG)上的增函数，Y=min(x,T),则有E[δ(T−Y)]=σh(p)E[\delta(T-Y)]=\sigma h(p)E[δ(T−Y)]=σh(p)证明略。
则σ^=1h(p)E[δ(T−Y)]\hat{\sigma}=\frac{1}{h(p)}E[\delta(T-Y)]σ^=h(p)1E[δ(T−Y)]用p^=1n∑i=1nδi估计p用\hat{p}=\frac{1}{n}\sum_{i=1}^n\delta_i估计p用p^=n1i=1∑nδi估计p那么，σ^=1n⋅h(p^)∑i=1nδi(T−yi)那么，\hat{\sigma}=\frac{1}{n\cdot h(\hat{p})}\sum_{i=1}^n\delta_i(T-y_i)那么，σ^=n⋅h(p^)1i=1∑nδi(T−yi)又μ=T−σG−1(p)，用μ^=T−σ^G−1(p^)来估计μ又\mu=T-\sigma G^{-1}(p)，用\hat{\mu}=T-\hat{\sigma} G^{-1}(\hat{p})来估计\mu又μ=T−σG−1(p)，用μ^=T−σ^G−1(p^)来估计μ那么该方法的关键就是计算出h(p)h(p)h(p)。
实例：
一个产品的寿命分布X∼Exp{1θ}X\sim Exp\lbrace \frac{1}{\theta}\rbraceX∼Exp{θ1}，抽取n个样本进行试验，截止T0T_0T0有m个产品失效，有效时间x(1)≤x(2)≤...≤x(m)≤T0x_{(1)}\leq x_{(2)}\leq ... \leq x_{(m)}\leq T_0x(1)≤x(2)≤...≤x(m)≤T0，求θ\thetaθ的矩估计。
【解】
该试验得到的观测值如下：(y1,δ1),(y2,δ2)...,(ym,δm),(ym+1,δm+1)...,(yn,δn)(y_1,\delta_1),(y_2,\delta_2)...,(y_m,\delta_m),(y_{m+1},\delta_{m+1})...,(y_n,\delta_n)(y1,δ1),(y2,δ2)...,(ym,δm),(ym+1,δm+1)...,(yn,δn)即(x(1),1),(x(2),1)...,(x(m),1),(x(m+1),0)...,(x(n),0)即(x_{(1)},1),(x_{(2)},1)...,(x_{(m)},1),(x_{(m+1)},0)...,(x_{(n)},0)即(x(1),1),(x(2),1)...,(x(m),1),(x(m+1),0)...,(x(n),0)这里G(x)=1−e−x,σ=θ,μ=0这里 G(x)=1-e^{-x},\sigma = \theta, \mu = 0这里G(x)=1−e−x,σ=θ,μ=0易得，G−1(u)=ln11−u,(0<u<1)易得，G^{-1}(u)=ln\frac {1}{1-u},(0<u<1)易得，G−1(u)=ln1−u1,(0<u<1)h(p)=pG−1(u)−∫0pG−1(u)du=ln11−p−ph(p)=pG^{-1}(u)-\int_0^pG^{-1}(u)du=ln\frac{1}{1-p}-ph(p)=pG−1(u)−∫0pG−1(u)du=ln1−p1−p于是，θ^=1n⋅h(p^)∑i=1nδi(T−yi),p^=mn于是，\hat{\theta}=\frac{1}{n\cdot h(\hat{p})}\sum_{i=1}^n\delta_i(T-y_i), \hat{p}=\frac{m}{n}于是，θ^=n⋅h(p^)1i=1∑nδi(T−yi),p^=nmθ^=1n⋅(ln11−mn−mn)⋅[mT0−∑i=1mx(i)]\hat{\theta}=\frac{1}{n\cdot(ln\frac{1}{1-\frac{m}{n}}-\frac{m}{n})}\cdot[mT_0-\sum_{i=1}^mx_{(i)}]θ^=n⋅(ln1−nm1−nm)1⋅[mT0−i=1∑mx(i)]
此即为参数θ\thetaθ的矩估计。

统计学笔记1：截尾分布的矩估计与极大似然估计相关推荐

机器学习笔记1.矩估计、极大似然估计。
1.矩估计 1.1矩估计思想: 矩估计是基于一种简单的"替换"思想,即用样本矩估计总体矩 1.2矩估计理论: 矩估计的理论依据就是基于大数定律的,大数定律语言化表述为:当总体的k阶 ...
概率论重修笔记 11矩估计和极大似然估计.md
矩估计方法(课11) 求期望u1=E(x)=f(θ)u_1=E(x)=f(\theta)u1=E(x)=f(θ) 用u1表示θθ=f−1(u1)u_1表示\theta~~\theta=f^{-1}( ...
矩估计和极大似然估计
矩估计法思路:就是利用样本矩来估计总体中的相应参数.首先推导涉及相关参数的总体矩,然后由样本求出样本矩,以此建立等式.(由样本求出的矩与总体的矩建立等式) 什么是k阶原点矩,一阶原点矩就是我们说的期 ...
似然函数的意义与极大似然估计
什么是概率? 简单来说,概率是一个函数,定义域是样本空间,满足非负性,规范性,可列可加性. 严格的公理化定义如下: 概率可以做什么?统计又可以做什么? 什么是先验概率,后验概率,似然? 先验概率:根据 ...
概率统计笔记：极大似然估计
极大似然估计,误差的高斯分布与最小二乘估计的等价性极大似然估计的具体步骤似然函数假设样本观测值求解方程极大似然估计的具体步骤假设有随机变量 X ∼ P ( x ; θ ) X\sim P( ...
机器学习笔记（VII）线性模型(III)对数几率回归和极大似然估计
背景知识常见回归模型线性回归(linear regression): y=wTx+b(1) y=\mathbf{w}^T\mathbf{x}+b\tag{1} 但是有时候预测值会逼近 y \mat ...
极大似然估计_计量经济学 | 极大似然估计
写在前面:本文写作于被新冠病毒 (COVID-19) 笼罩下的英国.前段时间本人的恩师.苏格兰老爷爷.英国伯明翰大学Emeritus讲席教授Peter Sinclair确诊新冠病毒,实乃不幸.在此祝P ...
【数学基础】参数估计之极大似然估计
背景先来看看几个小例子: 猎人师傅和徒弟一同去打猎,遇到一只兔子,师傅和徒弟同时放枪,兔子被击中一枪,那么是师傅打中的,还是徒弟打中的? 一个袋子中总共有黑白两种颜色100个球,其中一种颜色90个, ...
什么是极大似然估计？
● 每周一言坚持一定是有毅力,但有毅力不一定能坚持. 导语统计学中,我们经常能听到极大似然估计,或者最大似然估计,它是一种参数估计方法.在机器学习中,逻辑回归就是基于极大似然估计来计算的损失函数. ...

统计学笔记1：截尾分布的矩估计与极大似然估计

统计学笔记1：截尾分布的矩估计与极大似然估计相关推荐

最新文章

热门文章