推断（inference）、贝叶斯规则（Bayes's rule）与导出分布（derived distribution）

2024-05-13 03:07:44

1. 建模

对原始信号 X 进行观测，观测可以抽象为（离散：PY|X(y|x), 连续：fY|X(y|x)），物理世界噪声的存在，将导致观测到的 X 出现一定的噪声，记为 Y：

X⇒fY|X(y|x)⇒Y

对于推断（inference）问题而言，我们更多的是考虑如何从 Y 获取原始的无噪信号 X：

Y⇒fX|Y(y|x)⇒X

注意，原始信号 X 离散的，并不意味着其观测值也是离散的：

{X=0,1Y=X+W

而 W 是高斯噪声。这种由离散信号因为高斯噪声（连续概率分布）的存在而最终得到连续的观察值，大量的见于通信和信号处理专业。

对于离散 X，和连续型 Y，则会有：

PX|Y(y|x)=PX(x)fY|X(y|x)fY(y)

证明如下：

P(X=x,y≤Y≤y+δ)==P(X=x)P(y≤Y≤y+δ∣∣X=x)P(y≤Y≤y+δ)P(X=x∣∣y≤Y≤y+δ)

将其转化为连续的形式则有变为：

P(X=x,y≤Y≤y+δ)==P(X=x)⋅fY|X(y|x)⋅δf(Y=y)⋅δ⋅PX|Y(x|y)

该等式便完成了 pdf 和 pmf 的连接，其中 X 为离散型原始数据，Y 为连续型观测值。

2. 贝叶斯规则

PX(x)PY|X(y|x)=PX,Y(x,y)=PY(y)PX|Y(x|y)⇓PX|Y(x|y)=PX(x)PY|X(y|x)PY(y)

3. 导出分布

转载于:https://www.cnblogs.com/mtcnn/p/9422310.html

推断（inference）、贝叶斯规则（Bayes's rule）与导出分布（derived distribution）相关推荐

贝叶斯规则(Bayes’ rule)
Bayes定理可表述为: 后验概率 = (相似度*先验概率)/标准化常量也就是说,后验概率与先验概率和相似度的乘积成正比. 另外,比例P(B|A)/P(B)也有时被称作标准相似度(standardi ...
机器学习笔记——朴素贝叶斯(Naive Bayes)
1贝叶斯算法简介贝叶斯分类算法是统计学的一种分类方法,它是一类利用概率统计知识进行分类的算法.在许多场合,朴素贝叶斯(Naïve Bayes,NB)分类算法可以与决策树和神经网络分类算法相媲美,该算 ...
优达学城数据分析师纳米学位——P5项目知识点整理贝叶斯规则
关键词: 条件概率(conditional probabilities), 贝叶斯规则(Baye's rules),全概率(Total probability Theorem) 参考资料: MOOC学 ...
机器学习一：朴素贝叶斯(Naive Bayes)
朴素贝叶斯 Naive Bayes 1. Introduction 1.1 离散属性 1.2 连续属性 1.2.1 Gaussian Naive Bayes 1.2.2 Multinomial Nai ...
机器学习（十）分类算法之朴素贝叶斯(Naive Bayes)算法
贝叶斯定理首先我们来了解一下贝叶斯定理: 贝叶斯定理是用来做什么的?简单说,概率预测:某个条件下,一件事发生的概率是多大? 了解一下公式事件B发生的条件下,事件A发生的概率为: 这里写图片描述同 ...
概率论的学习整理5：贝叶斯（bayes）法则和贝叶斯概率
1 贝叶斯(bayes)概率的思考过程我觉得,bayes公式需要先理解条件概率,全概率公式才行纯从bayes公式的角度,其实是从条件概率P(B | A) 开始,推导到联合概率P(AB) / P( ...
机器学习：基于朴素贝叶斯(Naive Bayes)的分类预测
目录一.简介和环境准备简介: 环境: 二.实战演练 2.1使用葡萄(Wine)数据集,进行贝叶斯分类 1.数据导入 2.模型训练 3.模型预测 2.2模拟离散数据集–贝叶斯分类 1.数据导入.分析 ...
朴素贝叶斯(naive bayes)
朴素贝叶斯(naive bayes) 标签: Python 机器学习主要參考资料:<机器学习实战><统计学习方法> 1.朴素贝叶斯分类原理朴素贝叶斯法是基于贝叶斯定理和特征 ...
概率论信息论基础（随机变量、常用概率分布、贝叶斯规则、信息论基础、结构化概率模型）
目录随机变量及其概率分布独立性期望方差协方差常用概率分布常用函数贝叶斯规则信息论基础结构化概率模型如果这篇文章对你有一点小小的帮助,请给个关注喔~我会非常开心的~ 随机变量及其概率分 ...

最新文章

热门文章