贝叶斯方法（Bayesian approach） —— 一种概率解释（probabilistic interpretation）

2024-04-06 08:43:22

1. Bayesian approach

对于多项式拟合问题，我们可通过最小二乘（least squares）的方式计算得到模型的参数，最小二乘法又可视为最大似然（maximum likelihood）的一种特例，当模型选择过于复杂时，很容易在测试集上造成过拟合（over-fitting），因此，过拟合问题可被理解为最大似然普遍存在的一种性质。

过拟合的问题可通过贝叶斯方法得以避免。

2. 举例

由 N 个输入向量 x={x1,x2,…,xN}T 及每一个输入向量对应的目标值 t={t1,t2,…,tN}。定义 y(x,w) 为判定函数，所谓一种概率化的处理方式即在于，输入样本为 x0 时，预测值未必为 y(x0,w)，而是以一定概率为 y(x0,w)。我们现做如下假设：

p(t∣∣x,w,β)=N(t|y(x,w),β−1)

也即服从均值为 y(x,w)，方差为 σ2=β−1 的高斯分布。

则对于全体样本的似然函数（连乘是基于样本之间彼此独立的基本假设）为：

p(t∣∣x,w,β)=∏n=1NN(tn|y(xn,w),β−1)

为方便计算，两边同时取对数，进一步简化为：

lnp(t∣∣x,w,β)=−β2∑n=1N{tn−y(xn,w)}2+N2lnβ−N2ln(2π)

则可求得 β 的最大似然解 βML（上述等式求关于 β 的导数，并置 0）：

1βML=1N∑n=1N{tn−y(xn,w)}2

1βML 表示的是高斯分布的方差。

转载于:https://www.cnblogs.com/mtcnn/p/9422341.html

贝叶斯方法（Bayesian approach） —— 一种概率解释（probabilistic interpretation）相关推荐

独家 | 为什么要尝试A/B测试的贝叶斯方法（附链接）
作者:Michael Armanious 翻译:欧阳锦校对:阿笛本文约3400字,建议阅读8分钟本文通过一个A/B测试的实例,介绍了贝叶斯方法的各种优点和具体的实现方法,同时也将贝叶斯推断方法与 ...
转：数学之美番外篇：平凡而又神奇的贝叶斯方法收藏
为什么80%的码农都做不了架构师?>>> 转自:http://blog.csdn.net/pongba/archive/2008/09/21/2958094.aspx 数学之美 ...
数学之美番外篇：平凡而又神奇的贝叶斯方法（转自刘未鹏）
概率论只不过是把常识用数学公式表达了出来. --拉普拉斯记得读本科的时候,最喜欢到城里的计算机书店里面去闲逛,一逛就是好几个小时:有一次,在书店看到一本书,名叫贝叶斯方法.当时数学系的课程还没有学到 ...
详解凸优化、图神经网络、强化学习、贝叶斯方法等四大主题
加入AI行业拿到高薪仅仅是职业生涯的开始.现阶段AI人才结构在不断升级,这也意味着如果目前仍然停留在调用一些函数库,则在未来1-2年内很大概率上会失去核心竞争力的.几年前如果熟练使用TensorFlo ...
朴素贝叶斯方法在旋转机械故障诊断中的应用
目录前言 1 贝叶斯和朴素贝叶斯 1.1 贝叶斯定理 1.2 朴素贝叶斯 2 分类 3 朴素贝叶斯分类 3.1 准备阶段 3.2 训练阶段 3.3 应用阶段 4 旋转机械故障诊断案例 4.1 灵活朴 ...
[work]从贝叶斯方法谈到贝叶斯网络
0 引言事实上,介绍贝叶斯定理.贝叶斯方法.贝叶斯推断的资料.书籍不少,比如<数理统计学简史>,以及<统计决策论及贝叶斯分析 James O.Berger著>等等,然介绍贝叶 ...
贝叶斯方法应用：检测时间序列拐点
随着时间推移,制造设备比如贴片机的位置由于各种原因会产生小的偏差.这些偏差可能是阶跃,也有可能是渐变的形式.由于偏差值很小,产线的自动光学检测设备并不会报警:然而小的偏差如果不经处理,经过一定时间累积 ...
贝叶斯方法与连续值离散化
https://www.toutiao.com/a6701998782122295819/ 奇技指南实际算法工作中,需要经常处理特征值为连续值,而目标变量为可数属性的情况.这时, 将特征变量进行离散 ...
《统计学习方法》—— 朴素贝叶斯方法、详细推导及其python3实现（二）
前言在上一篇博客中,我们介绍了朴素贝叶斯方法以及详细推导.在这篇博客中,我们将介绍朴素贝叶斯的python3实现代码. 这里,我们将算法复述如下: 输入:数据集 T={(x1,y1),(x2,y2) ...
《统计学习方法》—— 朴素贝叶斯方法、详细推导及其python3实现（一）
前言朴素贝叶斯方法通过构造数据生成分布来预测未知数据的类型,属于生成模型.这里之所以称为"朴素",是因为我们假设数据特征之间具有互相独立的假设. 在这篇博客里,我们将介绍朴素贝叶 ...

最新文章

热门文章