高斯分布估计子的性能与克拉默劳下界的讨论

本文演示估计子的定义以及评估方法

% 假设一个N长度的高斯随机过程x，按照平均数u、方差a分布，然后根据随机过程估计他的均
% 值u1，并对评估的有效性进行检验clc
clear
close all%% 生成一个随机变量,并将统计结果与概率密度函数做对比
N = 10;
u = 2.5;
a = 0.8;
xrandom = random('norm',u,a,1,N);xaxis =(1-a)*u:0.1:(1+a)*u;
fx = normpdf(xaxis,u,a);figure(1)
subplot(2,1,1)
hist(xrandom,10)
xlim([min(xaxis),max(xaxis)])
title('随机变量xrandom的统计结果')
subplot(2,1,2)
hold on
plot(xaxis,fx,'LineWidth',4)%% 参数估计
% 我们根据xrandom过程估计uest（估计子），这个过程可以计作映射T：Xrandom^N -> U,(其中
% Xrandom^N 是N维样本空间，U是一维参数空间，因为我们只对参数u做估计)
% 显然，我们随机过程xrandom(i)中的每一个数据都可以用来生成一个估计子参数uest(i)，而且
% 生成的估计子的值uest(i)的值也是随机的，因此有必要引入误差B(uest)的概念，用来评估如机
% 子的有效性
% 定义 B（uest） = E{uest - u},如果B（uest） = 0,则认为uest是无偏的的
% 相应的，还有有偏估计 B(uest) ≠ 0，以及渐进无偏估计 limN->∞ B(uest)=0
% 当然这个有偏、无偏的判断只能通过解析式来判断，因为计算误差的存在，数值方法上是无法
% 对其进行准确判断的。Euest1 = 1/N*(sum(xrandom,2));
Euest2 = 1/(N+1)*(sum(xrandom,2));
fxest1 = normpdf(xaxis,Euest1,a);
fxest2 = normpdf(xaxis,Euest2,a);
fprintf('u = %d \n E{uest1} = %d \n E{uest2} = %d \n',u,Euest1,Euest2)%% 对比原始密度分布函数以及估计出来的密度分布函数
% 显然的uest1是u的无偏估计，uest2是u的渐进无偏估计
% 无偏的一定是渐进无偏的，但是渐进无偏的却不一定是无偏的plot(xaxis,fxest1)
plot(xaxis,fxest2)
xlim([min(xaxis),max(xaxis)])
legend('原始分布','估计分布1','估计分布2')
title(' xrandom的概率密度函数对比')
hold off%% 估计子的有效性对比
% 估计子有效性的考察，依赖于估计子代价函数的定义
% 简单来讲，可以通过偏差B(uest)来确定谁更有效
% 但是当两个估计子都是无偏无极的时候B(uest) = 0,这时候就要考察两个估计子的方差var(uest)
% 方差更小的被认为更有效
% 当两个估计子的偏差B(est) 与 aest^2都不相同的时候，就可以引入均方差的概念加以区别
% 定义 M^2(uest) = var(uest) + B^2(uest)% 问题：如何计算估计子的方差呢？
% 答案：不断重复随机过程xrandom，对u不断的重复进行估计，会得到以系列的uest，这个无偏估计
% uest系列是随机分布，且具有方差以及均值的。var(uest)能够达到的最小值就是克拉默-劳下界
% 此处代码不再赘述

关于高斯分布的Fisher信息，以及克拉默劳下界是否能够达到的求解、证明方法。

费舍尔信息，以及克拉默-劳下界的求解代码如下

%% 高斯分布的费舍尔信息
% 费舍尔信息是在被估计参数u已知的情况下，定义出来的一个均值
% 其表达式为 J(u) = E{(x-u)^2/(4*a^4)}
% 其中品质函数 V(x) = (x-u)/(2*a^2)
% 克拉默-劳下界 1/J(u) 是估计子 uest 均方误差{M^2(uest) = var(uest) + B^2(uest)}能取得的最小值。Vxrandom = (xrandom - u)/(2*a^2);
JVxsquare = mean(Vxrandom.^2);
fprintf('费舍尔信息 JVxsquare = %d \n',JVxsquare)
fprintf('克拉默劳下界 1/JVxsquare = %d \n',1/JVxsquare)

以下为代码运行结果

u = 2.500000e+00 E{uest1} = 2.146888e+00 E{uest2} = 1.951716e+00
费舍尔信息 JVxsquare = 7.860628e-01
克拉默劳下界 1/JVxsquare = 1.272163e+00

进一步的理解有偏&无偏可以参考这篇文章

高斯分布估计子的性能与克拉默劳下界的讨论相关推荐

机器学习实战（十四）Pegasos（原始估计子梯度求解器）
目录 0. 前言 1. SVM 概念 2. Pegasos 3. 实战案例 3.1. Pegasos 学习完机器学习实战的Pegasos,简单的做个笔记.文中部分描述属于个人消化后的理解,仅供参考. ...
NeurIPS 2018 | 腾讯AI Lab参与提出基于随机路径积分的差分估计子
感谢阅读腾讯AI Lab微信号第58篇文章.AI领域顶会 NeurIPS 正在加拿大蒙特利尔举办,腾讯AI Lab实验室每日将深度解读一篇入选论文,今天是第2篇.Enjoy! NeurIPS (Con ...
PoseFormer：首个纯基于Transformer的 3D 人体姿态估计网络，性能达到 SOTA
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达本文分享一篇 52CV 粉丝的论文『3D Human Pose Estimation with Spa ...
如何解决秒杀的性能问题和超卖的讨论及防止按钮多次点击
抢购活动一般会经过[预约][抢订单][支付]这3个大环节,而其中[抢订单]这个环节是最考验业务提供方的抗压能力的. 抢订单环节一般会带来2个问题: 1.高并发比较火热的秒杀在线人数都是10w起的,如 ...
如何解决秒杀的性能问题和超卖的讨论
2019独角兽企业重金招聘Python工程师标准>>> 最近业务试水电商,接了一个秒杀的活.之前经常看到淘宝的同行们讨论秒杀,讨论电商,这次终于轮到我们自己理论结合实际一次了. ps ...
带赖子的麻将胡牌算法Java_有人讨论下麻将胡牌，出牌算法吗，求思路
前段时间学会了打麻将,觉得老祖宗的智慧真的博大精深,很好玩,食胡的时候真兴奋啊,于是空余时间就想自己写个麻将游戏出来,模仿欢乐麻将那种,数学差,想了两个礼拜才想出一个胡牌算法,前段时间学会了打麻将. ...
如何关闭子线程？征集析构函数与多线程的讨论！
下面的代码是可以执行,大家都来说说为什么这个程序不会自动退出? 也就是说mian函数执行完毕后,为什么.net不会释放ThreadEx对象? using System; using System.Th ...
Siamese Network (应用篇3) ：孪生网络用于图像块匹配 ACCV2016
参看论文:Melekhov I, Kannala J, Rahtu E, et al. Image patch matching using convolutional descriptors wit ...
克拉美-劳界（Cramér-Rao Bound，CRB）及其修正型
1.克拉美-劳下界(Cramér-Rao Bound,CRB) CRB描述了一个无偏估计器的最小方差(或均方误差),即在给定某些数据的情况下,无偏估计器的方差不能低于CRB.CRB是一种理论上的下 ...
ZippyPoint: 一种基于学习的特征点提取+二进制描述子，速度提升5倍+，为移动平台提供一种ORB的替代方案...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨Realcat 来源丨计算机视觉SLAM 作者来自ETHZ Computer Vision实验 ...

高斯分布估计子的性能与克拉默劳下界的讨论

高斯分布估计子的性能与克拉默劳下界的讨论相关推荐

最新文章

热门文章