贝叶斯估计（概率密度函数的估计的参数方法）

2024-04-25 03:38:15

接上一篇文章：最大似估计

贝叶斯估计：参数估计是最随机变量，根据观测数据对参数的分布进行估计，还要考虑先验分布

最大似然估计：参数估计是未知的，根据观测数据来估计的值。

贝叶斯学习是把贝叶斯估计的原理应用于直接从数据对概率密度进行估计

开始我们今天的表演

一、贝叶斯估计

可以将概率密度函数参数估计问题看成是贝叶斯决策问题

贝叶斯决策问题有两类：（1）输入为离散变量：（用于分类）最优条件可以是最小错误率或者是最小风险

（2）输入为连续变量：所带来的损失损失函数

在使用损失函数为最小平方误差损失函数的情况下，贝叶斯估计的步骤是：

（1）根据对问题的认识或者猜测确定的先验分布密度p();

（2）样本独立同分布，且已知样本密度形式，可以形式上求出样本集的联合分布

（3）利用贝叶斯公式求的后验概率分布

（4）求贝叶斯的估计量

注：

我们本来的目的并不是要估计概率密度参数，而是估计样本的概率密度函数（小x为样本，大X为样本集），就是所有可能的参数取值下的样本概率密度的加权平均，而这个加权就是在观测样本下估计出的参数的后验概率。那么决定分布形式的就是后验概率的分子的形式（分母的目的就是归一化，保证密度函数下的积分为1）。分子有两项，似然函数：反映在不同参数取值下观测的样本的可能性。先验概率：反映对参数分布的先验知识或主观猜测。

一般情况下，似然函数会在其极大值附近有一个尖峰，那么如果先验概率在最大似然估计处不为零且变化比较平缓，则参数的后验概率就会集中在附近。此时贝叶斯估计就与最大似然估计接近。

二、正态分布的贝叶斯

为什么选择正态分布？因为为正态分布时先验分布密度p()也为正态分布。

注：对于给定的概率密度函数模型，如果先验概率密度p()能够使参数的后验分布具有与相同的形式，则这样的先验密度函数形式称作与概率模型共轭。

公式。。。（好吧，我又懒了）

注：若遇到求积分不容易的情况，请查阅吉布斯采样。

题外话：概率密度估计的非参数方法

最大似然方法和贝叶斯方法都属于参数化的估计方法,要求待估计的概率密度函数形式已知,只是利用样本来估计函数中的某些参数。但是,在很多情况下,我们对样本的分布并没有充分的了解,无法事先给出密度函数的形式,而且有些样本分布的情况也很难用简单的函数来描述。在这种情况下,就需要非参数估计,即不对概率度函数的形式作任何假设,而是直接用样本估计出整个函数。当然,这种估计只能用数值方法取得,无法得到完美的封闭函数形式。从另外的角度来看,概率密度函数的参数估计实际是在指定的一类函数中选择一个函数作为对未知函数的估计,而非参数估计则可以看作是从所有可能的函数中进行的一种选择。

1、直方图方法

2、k近邻估计法

3、parzen窗法

贝叶斯估计（概率密度函数的估计的参数方法）相关推荐

matlab 求函数绝对值,概率密度函数估计matlab命令 A a abs 绝对值、(4)
isnumeric 若是数值数组则为真 isobject 若是对象则为真 isprime 若是质数则为真 isreal 若是实数则为真 isspace 若是空格则为真 issparse 若是稀疏矩阵则 ...
机器学习 —— 基础整理（一）贝叶斯决策论；二次判别函数；贝叶斯错误率；生成式模型的参数方法...
本文简单整理了以下内容: (一)贝叶斯决策论:最小错误率决策.最小风险决策:经验风险与结构风险 (二)判别函数:生成式模型:多元高斯密度下的判别函数:线性判别函数LDF.二次判别函数QDF (三)贝叶 ...
怎么求中位数和分位数概率密度函数_计量经济学中的“条件”与“无条件”...
初学者难免困惑于计量经济学中诸多的 "条件" 与 "无条件",比如条件概率与无条件概率,条件分布与无条件分布,条件期望与无条件期望,条件方差与无条件方差,条件中 ...
【数据挖掘】高斯混合模型 ( 模型简介 | 软聚类 | 概率作用 | 高斯分布 | 概率密度函数 | 高斯混合模型参数 | 概率密度函数 )
文章目录 I . 高斯混合模型方法 ( GMM ) II . 硬聚类与软聚类 III . GMM 聚类结果概率的作用 IV . 高斯混合分布 V . 概率密度函数 VI . 高斯分布曲线 ( 仅 ...
excel概率密度函数公式_干货|利用excel公式，快速对定量的化学检测方法进行测量不确定度的评定...
往期精华行业|五类原因,两年276名认证人员被撤销资格分享|浅谈易制爆危险化学品备案经历分享|实验室空气质量不好?先找找工作习惯的问题! 分享|实验室应该怎样做平行样?一篇文章帮你了解! 干货| ...
MATLAB概率密度函数估计
MATLAB概率密度函数估计 2016-03-23 16:12:24 分类: C#/.net 函数:ksdensity 功能:根据给定的数据,估计概率密度分布示例: 1. 正态分布 x = rand ...
python 概率分布_python实现beta分布概率密度函数的方法
如下所示: beta分布的最大特点是其多样性, 从下图可以看出, beta分布具有各种形态, 有U形, 类似正态分布的形状, 类似uniform分布的形状等, 正式这一特质使beta分布在共轭先验的计 ...
Python计算一组数据的PDF（概率密度函数）方法
Python计算一组数据的PDF(概率密度函数)方法公式如下: python实现: 第一种方法: import scipy.stats as stst.norm.pdf([一组数据]) 第二种方法: ...
瑞利分布概率密度函数推导_MATLAB概率密度函数估计
函数:ksdensity 功能:根据给定的数据,估计概率密度分布示例: 1. 正态分布 x = randn(1,100000); [y,xi] = ksdensity(x); plot(xi,y, ...

最新文章

热门文章