贝叶斯法则与先验概率,后验概率
1.贝叶斯法则
机器学习的任务:在给定训练数据D时,确定假设空间H中的最佳假设。
最佳假设:一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设。贝叶斯理论提供了一种计算假设概率的方法,基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。
2.先验概率和后验概率
用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率。先验概率反映了关于h是一正确假设的机会的背景知识如果没有这一先验知识,可以简单地将每一候选假设赋予相同的先验概率。类似地,P(D)表示训练数据D的先验概率,P(D|h)表示假设h成立时D的概率。机器学习中,我们关心的是P(h|D),即给定D时h的成立的概率,称为h的后验概率。
3.贝叶斯公式
贝叶斯公式提供了从先验概率P(h)、P(D)和P(D|h)计算后验概率P(h|D)的方法
p(h|D)=P(D|H)*P(H)/P(D)
P(h|D)随着P(h)和P(D|h)的增长而增长,随着P(D)的增长而减少,即如果D独立于h时被观察到的可能性越大,那么D对h的支持度越小。
4.极大后验假设
学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h,h被称为极大后验假设(MAP)确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率,计算式如下:
h_map=argmax P(h|D)=argmax (P(D|h)*P(h))/P(D)=argmax P(D|h)*p(h) (h属于集合H)
最后一步,去掉了P(D),因为它是不依赖于h的常量。
5.极大似然假设
在某些情况下,可假定H中每个假设有相同的先验概率,这样式子可以进一步简化,只需考虑P(D|h)来寻找极大可能假设。
h_ml = argmax p(D|h) h属于集合H
P(D|h)常被称为给定h时数据D的似然度,而使P(D|h)最大的假设被称为极大似然假设。
6.举例
考虑一个医疗诊断问题,有两种可能的假设:(1)病人有癌症。(2)病人无癌症。样本数据来自某化验测试,它也有两种可能的结果:阳性和阴性。假设我们已经有先验知识:在所有人口中只有0.008的人患病。此外,化验测试对有病的患者有98%的可能返回阳性结果,对无病患者有97%的可能返回阴性结果。
上面的数据可以用以下概率式子表示:
P(cancer)=0.008,P(无cancer)=0.992
P(阳性|cancer)=0.98,P(阴性|cancer)=0.02
P(阳性|无cancer)=0.03,P(阴性|无cancer)=0.97
假设现在有一个新病人,化验测试返回阳性,是否将病人断定为有癌症呢?我们可以来计算极大后验假设:
P(阳性|cancer)p(cancer)=0.98*0.008 = 0.0078
P(阳性|无cancer)*p(无cancer)=0.03*0.992 = 0.0298
因此,应该判断为无癌症。
确切的后验概率可将上面的结果归一化以使它们的和为1:
P(canner|+)=0.0078/(0.0078+0.0298)=0.21
P(cancer|-)=0.79
贝叶斯推理的结果很大程度上依赖于先验概率,另外不是完全接受或拒绝假设,只是在观察到较多的数据后增大或减小了假设的可能性。
贝叶斯分类具有如下特点:
(1)贝叶斯分类并不把一个对象绝对地指派给某一类,而是通过计算得出属于某一类的概率,具有最大概率的类便是该对象所属的类;
(2)一般情况下在贝叶斯分类中所有的属性都潜在地起作用,即并不是一个或几个属性决定分类,而是所有的属性都参与分类;
(3) 贝叶斯分类对象的属性可以是离散的、连续的,也可以是混合的。
贝叶斯定理给出了最小化误差的最优解决方法,可用于分类和预测。理论上,它看起来很完美,但在实际中,它并不能直接利用,它需要知道证据的确切分布概率,而实际上我们并不能确切的给出证据的分布概率。因此我们在很多分类方法中都会作出某种假设以逼近贝叶斯定理的要求。
贝叶斯法则与先验概率,后验概率相关推荐
- 贝叶斯法则与先验后验概率以及似然度的关系
条件概率公式:P(A|B)=P(AB)/P(B) P(B)≠0 可推得乘法法则:P(AB)=P(A|B)*P(B) P(AB)=P(A|B)*P(B)=P(B|A)*P(A) 可得贝叶斯公式,也称贝叶 ...
- 贝叶斯概率(先验概率后验概率)
前言 以前在许学习贝叶斯方法的时候一直不得要领,什么先验概率,什么后验概率,完全是跟想象脱节的东西,今天在听喜马拉雅的音频的时候突然领悟到,贝叶斯老人家当时想到这么一种理论前提可能也是基于一种人的直觉 ...
- 【概率论】贝叶斯法则
基础知识描述: 联合概率: 定义:指在多元的概率分布中多个随机变量同时满足各自条件的概率. 举例:假设X和Y都服从正态分布,那么P{X<4,Y<0}就是一个联合概率,表示X<4,Y& ...
- 先验概率 后验概率 贝叶斯法则 贝叶斯公式
1.先验.后验 在拉丁文中指"来自先前的东西",或稍稍引申指"在经验之前". 近代西方传统中,认为先验指无需经验或先于经验获得的知识.它通常与后验知识相比较,后 ...
- 贝叶斯法则,先验概率,后验概率,最大后验概率
1.贝叶斯法则 机器学习的任务:在给定训练数据D时,确定假设空间H中的最佳假设. 最佳假设:一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设.贝叶斯理论提供了一种计算 ...
- 【人工智能】— 不确定性、先验概率/后验概率、概率密度、贝叶斯法则、朴素贝叶斯 、最大似然估计
[人工智能]- 不确定性 不确定性 不确定性与理性决策 基本概率符号 先验概率(无条件概率)/后验概率(条件概率) 随机变量 概率密度 联合概率分布 公理 完全联合分布 概率演算 独立性 贝叶斯法则 ...
- 无人车“看世界”的底层逻辑——概率密度与贝叶斯法则
目录 写在前面 1. 核心概念--概率密度 1.1 "点概率"没有意义 1.2 概率密度函数怎么用? 2. 无人车里的"贝叶斯法则" 2.1 联合概率密度 2. ...
- python贝叶斯算法的论文_3个范例带你读懂贝叶斯法则
贝叶斯法则可能是概率论中最有生命力的一个公式.它可以用来计算条件概率或者主观概率. 贝叶斯法则的思想非常简单:随机事件发生的概率随着相关条件的发生而改变,一个命题真假的信念即主观概率随着相关证据的发现 ...
- 概率论--贝叶斯法则
贝叶斯法则 (反推的概率问题,已知结果,推测原因) (Bayes'theorem/Bayes theorem/Bayesian law) 贝叶斯的统计学中有一个基本的工具叫"贝叶斯法则&qu ...
最新文章
- Python炫技操作:条件语句的七种写法
- seaborn使用Catplot函数可视化水平小提琴图(Make Horizontal Violin Plot with Catplot in Seaborn)
- WPF ListView DoubleClick
- [译]深度神经网络的多任务学习概览(An Overview of Multi-task Learning in Deep Neural Networks)...
- dentity在Java里是什么意思_注释@Id和@GeneratedValue(strategy = GenerationType.IDENTITY)的用途是什么?为什么世代类型是身份?...
- t3s java_关于JAVA的this关键字
- Linux内核中断引入用户空间(异步通知机制)【转】
- 操作数据库pymysql
- PPC WM5 输入法屏蔽插件
- 简谈二维码(QRcode)的C语言生成,在单片机平台的实现
- mac原版镜像下载 macos官方镜像下载
- Matlab窄带信号的测向算法
- 随机生成三位密码,然后穷举法破解密码
- glTF格式介绍——目录
- 计算机桌面出现输入框,Mac电脑使用:桌面底部莫名出现白色输入框解决的解决办法...
- Matlab画六边形蜂窝网络点(任意个数)
- 用时间做种子生成随机数
- 选文字游戏 一个根据颜色来选择对应文字的小游戏
- C语言学习(2):enum枚举时出现的问题:
- 零基础了解Https-https的安全策略
热门文章
- 通证与区块链:前台经济+后台技术
- keil出现stdin(‘-’)combined with other files
- Spring 源码分析(七)--bean的加载详细分析
- mysql分组取最新时间的数据
- 零基础学python pdf-零基础学Python PDF 全彩影印版
- R语言学习-提取igraph的节点和边
- Win10系统下安装Debian11教程
- catia二维图坐标如何表示_CATIA二维工程制图中孔系尺寸及点坐标标注方法
- 科技新品 | 索尼最新高级条形音箱;Bose消噪耳塞全新配色;新一代人工智能社交机器人Musio S...
- uniapp 打包app后,选择文件上传时,编辑上传文件