贝叶斯估计及其派生估计准则(极大似然、最大后验证、最小均方)
1.4.0 参数估计基础
在实际问题中,发现信号的基础上,还需要测定信号的参数,但由于信号要受到随机噪声的污染,不可能精确的测定信号的参数,需要使用统计估计的方法尽可能精确地对其估计。如果信号参数是随机变量或非随机的未知量,则称为信号的参数估计;若被估计量是随机过程或者非随机的未知过程,则称为波形估计或状态估计。因此,信号的参数估计是指被估计参数在观测时间内不随时间变化,属静态估计;波形或状态估计涉及的信号参数是随时间变化的,属动态估计。
为了对信号的参数做出估计,需要获得观测数据。设观测方程为
,k=1,2,…,N
其中, 是第k次观测值;
是被估计量;
是第k次测量噪声;
是已知的观测系数。
现在的问题是根据N次观测值
按照某种最佳估计准则,对参数做出估计。即构造一个观测量的函数,即
,作为参数
的估计值。
如果被估计量是p维矢量,那么观测方程一般可以表示为
,k=1,2,…,N
式中,是第k次观测的q维观测矢量,
是p维被估计矢量,
是第k次观测的q维观测噪声矢量,
是
阶观测矩阵。
信号参数估计的统计模型
1.4.1 常用代价函数与贝叶斯估计
在信号估计问题中,因为被估计问题θ和估计量是连续随机变量。所以每一对
分配一个代价函数
。代价函数C是θ和
两个变量的函数。
但实际上,我们把它规定为误差的函数,即
,是估计误差的但变量函数。
The cost function C(x) is typically one of the following :
1.4.1.1 误差平方代价函数(Quadratic Cost Solution)
(MMSE estimator)
1.4.1.2 误差绝对值代价函数(Absolute Cost Solution)
(posteriori median estimator)
1.4.1.3 均匀代价函数(Hit-or-miss)
(Maximum a Posteriori (MAP) estimator)
除上述三种之外,还可以选择其他形式的代价函数,但无论何种形式的代价都应满足两个特性:非负性和误差趋于零的最小性。
1.4.1.4 贝叶斯估计
被估计量 是随机变量,其先验概率密度为
,那么
是随机参量
和观测量z的函数,因此,平均代价
为:
使平均代价最小的估计
就是贝叶斯估计。
利用概率论中的条件概率公式
平均代价公式可改写为
由于上式对的内积分非负,因而C最小等效为内积分最小,即
称为条件平均代价。它对
求最小,就能得到参量
的贝叶斯估计
Bayesian estimators are defined by a minimization problem which seeks for the value of that minimizes the average cost.
1.4.2 最小均方误差估计
使用平方代价函数的贝叶斯估计使最小均方误差估计
推导:
将平方代价函数的条件平均代价用表示,
使条件平均代价最小的一个必要条件是上式对,求导并令结果等于0来求得最佳的
,即
因为
所以
求二阶导
故是对应的平均代价的极小值,由于它使均方误差估计最小,因而称为最小均方误差估计。由于
也是
的条件均值
,故最小均方误差估计又称条件均值估计。
1.4.3最大后验估计
对于均匀代价函数,条件平均代价用表示为
其中是使条件代价
最小的估计量,欲使
最小,需使右边积分值最大。应当选择
使它处于后验概率密度
最大处的
值,这样求得的估计量称为最大后验概率估计,记为
。
如果最大值处于的允许范围内,且
有连续的一阶导数,则获得最大值的必要条件是
因为自然对数是自变量的单调函数,所以有
上式称为最大后验方程,利用上式求解时,每一种情况下都需要检验所求得的解是否绝对最大。
1.4.4 最大似然估计
利用贝叶斯公式
将最大后验方程写成
当被估计量是未知先验分布的随机参量或是非随机未知参量时,上式含有未知量,不能采用上式求估计值。这时设想只用其中的第一项,即取似然函数
的最大值对应的
作为估计量,则称之为最大似然估计,其估计量记为
,可由方程:
或
求得。第二个对数求导公式称为最大似然方程。
由于ML没有或不能利用被估计参量的先验知识,因而其估计质量一般说要比贝叶斯估计差,也就是说,比最大后验估计差。
一个例子看懂最大后验(使用Hit or Miss代价函数的贝叶斯估计)和极大似然的区别
小明今天没来上学,三个可能的Hypothesis(θ):
小明今天生病了 / 美国总统特朗普会见小明 / 地球遭受陨石撞击
用极大似然(MLE)估计出来的θ_hat(对θ的估计)是“地球遭受陨石撞击”,因为
Likelihood(小明今天没来上学|地球遭受陨石撞击)= 1
而用最大后验求出来的是“小明今天生病了”,因为考虑了先验——“地球毁灭”和“特朗普会见小明”的概率都远低于“小明今天生病了”。
用“奥卡姆剃刀”解释这个现象是模型越复杂(宇宙模型》国际关系模型》生活模型),出现的(先验)概率越低。
贝叶斯估计及其派生估计准则(极大似然、最大后验证、最小均方)相关推荐
- 机器学习笔记1.矩估计、极大似然估计。
1.矩估计 1.1矩估计思想: 矩估计是基于一种简单的"替换"思想,即用样本矩估计总体矩 1.2矩估计理论: 矩估计的理论依据就是基于大数定律的,大数定律语言化表述为:当总体的k阶 ...
- 统计学笔记1:截尾分布的矩估计与极大似然估计
截尾分布的矩估计与极大似然估计 在参数估计中,我们通常喜欢用极大似然估计来估计一个参数,这样估计的参数通常具有良好的性质,但有时其并不那么容易求解.在参数估计中,矩估计的计算方法较为简易,但其结果的偏 ...
- 概率论重修笔记 11矩估计和极大似然估计.md
矩估计方法(课11) 求期望u1=E(x)=f(θ)u_1=E(x)=f(\theta)u1=E(x)=f(θ) 用u1表示θθ=f−1(u1)u_1表示\theta~~\theta=f^{-1}( ...
- 矩估计和极大似然估计
矩估计法 思路:就是利用样本矩来估计总体中的相应参数.首先推导涉及相关参数的总体矩,然后由样本求出样本矩,以此建立等式.(由样本求出的矩与总体的矩建立等式) 什么是k阶原点矩,一阶原点矩就是我们说的期 ...
- 似然函数的意义与极大似然估计
什么是概率? 简单来说,概率是一个函数,定义域是样本空间,满足非负性,规范性,可列可加性. 严格的公理化定义如下: 概率可以做什么?统计又可以做什么? 什么是先验概率,后验概率,似然? 先验概率:根据 ...
- 概率笔记10——矩估计和最大似然
估计 生活中我们经常估计一些数值,比如从家到学校要走多久?一颗大白菜大概多少斤?凭什么估计出具体数值呢?"估计"不是瞎猜,是根据已有数据计算的.从家到学校往返过多次,手上也拿过无数 ...
- 极大似然估计,最大后验概率估计(MAP),贝叶斯估计
1.贝叶斯公式 三种参数估计方法都和贝叶斯公式有关,因此首先从分析贝叶斯公式入手: 贝叶斯公式可以表达为: posterior:通过样本X得到参数的概率 likehood:通过参数得到样本X的概率 p ...
- 7.2 极大似然估计
7.2 极大似然估计 估计类条件概率的一种常用策略是先假设其具有某种确定的概率分布形式,然后再基于训练样本对概率分布的参数进行估计,具体的说,记关于类别C的类条件概率为P(X|C),假设P(X|C ...
- 伽马分布极大似然估计_一文通俗解释极大似然估计
我们都知道机器学习的大致流程是通过建立一个合理的模型学习现有数据集,然后通过该模型去完成特定的任务.其中每个模型都包含自身的一组特定参数,而这组参数决定着模型的本身.但这里存在一个很关键的一个问题,就 ...
最新文章
- 2015 HIAST Collegiate Programming Contest J
- 【Python】青少年蓝桥杯_每日一题_12.11_开关灯问题
- maven nexus 私服的搭建学习
- 一个简单的主机管理模拟程序
- leetcode 1170 python
- 权重确定方法之主成分分析法
- SQL注入原理解析以及举例1
- ruby web性能响应时间
- Centos66 编译 Freeswitch mod_shout mp3录音模块
- 计算机学生英语面试自我介绍ppt,大学生英语自我介绍ppt.doc
- 【python】数据挖掘 实验:中国二级城市经纬度聚类分析
- Django开发教程 第一节 HelloWorld
- 邮编查询经纬度_行政区划省市区邮编区号拼音经纬度全面标准数据库 每月更新...
- 本科计算机考研考英语,2016考研必需知道的10件事
- python xlrd pandas_Python:Pandas pd.read_excel提供ImportError:为Excel supp安装xlrd = 0.9.0
- 笔记本无线网卡没有连接到计算机,笔记本没有无线网络连接怎么办 解决方法介绍【图解】...
- 轻松学,Java 中的代理模式及动态代理
- 苹果手机以旧换新活动_苹果中国宣布以旧换新活动延期至3月25日
- MFC编写的人民币大小写转换
- ajax点评wnv冠军,alex大赛点评新年特辑 WEG2005总决赛wNv夺冠之路
热门文章
- 高等数学(第七版)同济大学 习题12-8 个人解答
- gltf中的bufferViews,accessors和buffers
- C/C++中的数据类型转换()/static_cast/dynamic_cast/const_cast/reinterpret_cast
- Mybatis 批量插入数据 SQL
- 还在烦恼Word怎么转PPT?教你一种方法告别复制粘贴
- 开源项目SMSS开发指南(二)——基于libevent的线程池
- 小米盒子4S Pro好不好,对比当贝盒子B1有什么缺点
- 【Java 设计模式】UML 之类图
- NVMe SSD测试为何要先做预处理?
- MISRA 2004 VS MISRA 2012