均方误差准则

* (2) 怎样决定一个估计量是否比另一个估计 量“好”？ (1) 我们希望一个“好的”估计量具有什么 特性？ (3) 如何求得合理的估计量？ * 这是因为估计量是样本的函数，是个随机变量 . 因此，由不同的观测结果，就会求得不同的参数估计值. 因此一个好的估计，应在多次试验中体现出优良性 .而且尽可能接近待估计参数值的真值，在真值左右摆动尽可能小。 2.1、估计量的优良性准则 在介绍估计量优良性的准则之前，我们必须强调指出： 评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量 . * 常用的几条原则标准是： 1. 无偏性 2. 有效性 3. 相合性 4. 充分性与完备性 * 一、无偏估计 估计量是随机变量，对于不同的样本值会得到不同的估计值 . 我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值，这就导致无偏性这个标准 . 设 是未知参数 的估计量， 1. 定义 则称 为 的无偏估计 . 若 则称 为估计量 的偏差 . 若 则称 为 的渐近无偏估计 . 若 * 因为在参数估计问题中, 我们并不知道参数? 的真实取值。自然要求它在参数? 的一切可能取值的范围内都成立 例如：若? 指的是正态总体N(? , ?2)的均值?,则其一切可能取值范围是(-∞,∞)。若? 指的是方差?2，则其一切可能取值范围是(0,∞)。 * 例1：设 X1, X2, …, Xn 为抽自均值为? 的总体X的随机样本，考虑 ? 的如下几个估计量： * * 例2.4 设X1,X2,…,Xn是取自具有一阶矩、二阶矩存在的总体X一个样本，证明 证 * 思考： * 例2 的样本，其中 事实上 设X1,X2,…,Xn是取自总体X： * 但是，此估计量有明显的不合理： 例2 的样本，其中 设X1,X2,…,Xn是取自总体X： * 2. 无偏性的弱点 (3) 无偏估计只反映了估计量在参数真值附近波动。 无偏估计量是对估计量的一个重要而常见的要求 ，实际意义是多次试验后没有系统性的偏差，也是工程技术中完全合理的要求，但不要一味认为估计量不满足无偏原则，就是“不好”的估计量。 例2 总体X 服从指数分布,概率密度为 试证 和 都是θ的无偏估计. 证明: ∴　是θ的无偏估计. 的概率密度 是θ的无偏估计. * 证 补充例 * * 用估计量 估计?，估计误差 二、均方误差准则 是随机变量，通常用其均值衡量估计误差的大小。 要注意: 为了防止求均值时正、负误差相互抵消，我们先将其平方后再求均值，并称其为均方误差，记成 ，即 * 哪个估计的均方误差小，就称哪个估计比较优，这种判定估计优劣的准则为“均方误差准则”。 注意：均方误差可分解成两部分: 证明： * 上式表明，均方误差由两部分构成：第一部分是估计量的方差，第二部分是估计量的偏差的平方和。 注意：如果一个估计量是无偏的，则第二部分是零，则有: 如果两个估计都是无偏估计，这时哪个估计的方差小，哪个估计就较优。这种判定估计量优劣的准则称为方差准则。 * 例 设 X1, X2, …, Xn 为抽自均值为 ? 的总体,考虑 ? 的如下两个估计的优劣： 我们看到: 显然两个估计都是? 的无偏估计。计算二者的方差： * 从均方误差可知，我们自然希望估计的MSE 越小越好。 对所有的 成立， 估计。 * 因为 倘若这样的估计 存在， 不存在。 平凡估计 (Trivial Estimate) * 由此可见，均方误差一致达到最小的 最优估计并不存在，那么应如何评判和寻找 优良的估计呢？方法之一是对估计提出一些 合理性的要求，将那些诸如不合理的平凡估 计排除在外，然后在满足合理性要求的估计 类中寻找优良的估计。无偏性便是一种常用 的合理性要求。