概率论的学习整理5：贝叶斯（bayes）法则和贝叶斯概率
2024-06-17 02:38:13
1 贝叶斯（bayes）概率的思考过程
- 我觉得，bayes公式需要先理解条件概率，全概率公式才行
- 纯从bayes公式的角度，其实是从 条件概率P(B | A) 开始，推导到联合概率P(AB) / P(A) ，然后再展开条件概率本身为全概率，逐步得到的
1.1 我的思维导图
1.2 条件概率
- P(B | A) =P(AB) / P(A)
- B事件在A事件已经发生基础上的条件概率 = AB的联合概率（交集） / 条件A发生的概率
- P(A) ，就是条件A，已经发生的事件A，的概率
1.3 计算作为分母的条件的全部概率（使用全概率公式）
巧妙的地方：主要实现了条件概率的两个事件反转！
- 全概率公式，实现了一个转换，或者说反转
- 就是把1个事件的概率，P(A) = 转化为，另外一群事件B1...Bn的概率*条件概率，就是另外一个完备划分的条件B1...Bn概率*条件B1...Bn的概率的和。
- 首先，要用来计算全概率的，那些事件有2个要求，第1，要能做成一个完备样本空间S，第2，互相之间互斥不相交
- 某概率= ∑ 联合概率
- P(B)=P(BA1)+P(BA2)+...+P(BAn)
- 某概率= ∑ 条件概率* 条件发生概率
- P(B) =P(B|A1)P(A1) + P(B|A2)P(A2) + ... + P(B|An)P(An)=P(BA1)+P(BA2)+...+P(BAn)
1.4 贝叶斯公式，bayes概率
- 条件概率= 联合概率/全概率 = 先验概率 * 条件概率 / 全概率
- 推导步骤
- 第1步，条件概率= 联合概率 ：P(A|B) = P(AB) / P(B)
- 第2步，条件概率= 展开为基于其他事件Ai的条件概率*其他事件Ai概率
- P(A|B) = P(A1B) / P(B) = P(B|A1)* P(A1) / P(B)
- P(A|B) = P(AB) / P(B) = P(A|B)* P(B) / P(B) = P(A|B) 你也可以这样展开，恒等式展开没意义
- 第3步，其他事件概率展开为基于A1...Ai的全概率公式
- P(A|B) = P(A1B) / P(B) = P(B|A1)* P(A1) /P(B|A1)P(A1) + P(B|A2)P(A2) + ... + P(B|An)P(An)
2 bayes公式和bayes概率的理解
2.1 bayes公式的理解
- 条件概率= 联合概率/全概率
- = 先验概率 * 条件概率 / 全概率
- P(A|B) = 交叉部分 P(AB) / p(B)
- 因为条件概率好获得，联合概率其实挺难知道？所以下面转化为 条件概率，并且A和B的条件关系互换了！
- P(A|B) = P(A) * P(B|A)/P(B)
- 后验概率 先验概率 * 调整系数
- P(A|B) = P(A) * P(B|A) / P(A) * P(B|A)+P(A') * P(B|A')
- 这公式正好说明了，P(A|B) = P(A) * P(B|A)+P(A') * P(B|A') 的前面那一部分P(A) * P(B|A) 占整个乘积之和 ： P(A) * P(B|A)+P(A') * P(B|A') 的比例
- 即 P(A|B) = 条件概率*条件1本身 / 条件概率*条件1~n的概率之和 （就是一个占比关系）
2.2 先验概率, 后验概率, 似然系数
下图为网图，知乎找的图
按这些术语，Bayes法则可表述为：
- P(A|B)称为后验概率(posterior)
- P(A)称为先验概率(prior), 根据经验+已有信息（但默认不含最新信息）对A发生概率的估计
- P(B|A)称为似然系数(likelihood)
- 在事件A发生的情况下，事件B(或evidence)的条件概率有多大
- P(B)称为证据(evidence)，即无论A事件如何，事件B(或evidence)本身的可能性有多大，为啥这个叫证据？因为 P(B) 和P(A) 是2个不同的事件？
- 有的也把 P(B|A)/P(B) 统一成为似然系数
- 后验概率 = (似然度 * 先验概率) / 条件事件本身的概率
- 后验概率 =先验概率 * (似然度 / 证据 )
- 后验概率与先验概率和似然度的乘积成正比。
- 比例Pr(B|A)/Pr(B)也有时被称作标准似然度（standardised likelihood），
- Bayes法则可表述为：后验概率 = 标准似然度 * 先验概率。
似然度=可能性系数=似然度系数 的意义
- 如果"可能性函数"P(B|A)/P(B)>1，意味着"先验概率"被增强，事件A的发生的可能性变大；
- 如果"可能性函数"=1，意味着B事件无助于判断事件A的可能性；
- 如果"可能性函数"<1，意味着"先验概率"被削弱，事件A的可能性变小
3 贝叶斯公式的意义
3.1 没有贝叶斯概率之前: 都是正向思考和正向概率？
- 再bayes之前概率，可能主要是古典模型
- 古典模型已经假设了均等概率，也就知道了概率分布，推论后面实验N次发生XX事件的概率，是比较清晰的，相当于是一个演绎逻辑。
- 也就是，知道了真实先验概率（先验概率是真实的）的分布了再计算问题
- 上帝视角
- 演绎逻辑
- 正向概率 :上帝视角,知道所有信息后，往下推，可以很准
- 正向概率，可以通过多次重复做实验验证
- 也就是可以用 实验结果的频率，去验证先验概率，确实是对的
- 大样本下 概率=频率
3.2 贝叶斯公式的出发点：逆向概率，用客观去修正主观
- 现实中，信息不全
- 知道结果，反过来去推论发生的原因
- 生活视角，知道了结果，去预测未来？
- 有些实验无法反复做，比如今天是否下雨，无法像时间循环穿越电影那样永远测试同一天，因为只能用过去的统计数据来预测今天是否下雨，不过预测对错，今天过去了就也无法再实验今天，马上又遇到一个崭新的问题：明天是否下雨？
- 贝叶斯概率，是一种逆向思维，逆概率
- 为啥叫逆概率：因为是知道了结果去推原因？
- 非上帝视角的逆推，溯源思考？
- 比如，我从N个袋子里摸出一个球，那么这个球来自其中一个袋子的概率是多少呢？是1/N吗？1/N是一般的先验概率，我们没有更多信息，只能假设随机拿1个球，来自各个袋子的概率是均等的，和丢硬币一样。所以只能假设为1/N
- 所以，用这个例子解释
- 先验概率就是主观的，而获得其他信息都是客观信息，最终能修正主观概率P(A) ，得到更准确的相对客观一些的 P(A|B)
- 所以 bayes概率，是偏统计的，归纳逻辑？
3.3 关于先验概率的思考：什么叫先验概率？
- 实验发生以前，人根据自己以前的经验的对某事件发生概率的估计
- 既然先验是主干的，那么就应该是可以人人不一样的
- 比如，孩子对1个事情概率的估计和成年人就应该不同，不同文化的人的主观先验概率有差别也应该很正常
- 但是很多概率题目，习惯默认大家必须有一样的先验概率，这个是为什么呢？我想了想，一个是因为，纯主观问题就不好讨论的，另外一个原因，就是大概bayes开始时，以前比较经典的就是等概率的古典模型，所以默认大家都主观的选择 等概率模型把，哈哈。
- 不过，等概率模型，确实是人对概率这个东西一个很朴素的概念！同意
- 但是其实，还是有点瑕疵的
3.4 学习和预期修正的例子
- 预期修正
- 学习
- 例子
- 比如，我从N个袋子里摸出一个球，那么这个球来自其中一个袋子的概率是多少呢？是1/N吗？1/N是一般的先验概率，我们没有更多信息，只能假设随机拿1个球，来自各个袋子的概率是均等的，和丢硬币一样。所以只能假设为1/N
- 但是一旦知道，每个袋子里球的多少，甚至黑球白球多少，以及拿道是黑球白球就可以展开进一步的推论，这个过程，是预期修正，是学习过程？
- 比如知道N个袋子为2个袋子，A袋子?个球，B个袋子?个球，随意摸1个，来自A的概率50%
- 比如知道N个袋子为2个袋子，A袋子8个球，B袋子2个球，随意摸1个，来自A的概率
- P(任一|来自A)= 1/2*8 /(1/2*8+1/2*2) =4/5=80%
- 如果有黑球白球之分就更能分辨了
4 哪些情况下，需要用到bayes概率原理？
在已经某些事件已经发生的条件下，贝叶斯公式可用来寻找导致发生的各种原因的概率，或者选择相关其他事件的发生概率。
- 根据已经发生的事件，作为结果去推测原因
- 根据已经发生的事件，作为条件，去推测相关联事件的概率
- 根据已经发生事件，不断修正，对某事件概率P的认知
4.1 情况1：我们经常需要根据 结果去推测原因，因为结果好观测，但是原因往往不可观测
- 从结果去反推原因
- 比如，下雨100%就有乌云 ，但是那有乌云下雨概率多大呢？
- 乌云是下雨的必要条件，但是不是下雨的充分条件，所以不能从乌云100%推导出下雨，但需要从乌云去推测下雨的概率，就需要用贝叶斯的思想。
4.2 情况2 用于预测未来
- 呃，这用啥例子？
- 大概是先验概率，是过去的经验总结
- 后验概率，是为了预测未来可能发生的事情吧
- 比如，丢骰子，买彩票，根据先验概率去预测 自己这次要不要买彩票？呃
4.3 情况3： 视角转换
- 知道一些东西的规律，根据这个，去推测我们不知道的不好测量的内容
- 生活中，经常容易得到P(B|A),但是我们更想知道P(A|B)
- 比如实验室可以做实验得到某些药品的有效率，甚至误测率
- 但是想知道，试纸测出的效果多少概率表示背后对应的症状，这个得用bayes概率思想
4.4 其他
- bayes思想确实很牛逼
- 还有没有其他情况，咱也不知道，咱也不敢说，先写在这等等把 ^ ^
5 贝叶斯定理作用
- 提高先验概率，可以有效的提高后验概率 ？
- 只按经验有先验概率，根据其他信息的暴露越多，可以修正先验概率，接近更真实的概率本身？
- 能说明支撑某个说法的事情，发生的越多，那么这个说法是真的可能性就越大。
5.1 要点1：逆向思考
贝叶斯就是逆概率问题！
- 正向概率 :上帝视角,知道所有信息后，往下推，可以很准
- 贝叶斯概率是逆向概率，知道结果，反过来去推论发生的原因 ，或者是知道一些过去经验，去推测我们不知道的不好测量的内容，或者是预测未来。
5.2 要点2：预期修正
贝叶斯概率，可以通过不断增加信息，修改似然系数，提高对后验概率准确度
- 可以通过增加信息，通过行为的次数增多判断这个人的品质
- 一直做好事的更容易是好人
5.3 认知迭代和学习
我们和机器都可以通过beyes思路，进行认知迭代和学习
- 据说人的大脑就是一种贝叶斯思考的模式
- 现在人工智能，AI 也在使用bayes概率的思考模式，用大量的素材去训练AI，进行认知迭代，变得更智能，从而达到认知更新和迭代
- 贝叶斯规则给出了一个规则，即将一些先验的信念(贝叶斯认为概率是对某种信念的度量)与观察到的数据结合起来，来更新信念，这个过程也称为“学习”。或者说，我们的信念随着获得的信息增多而发生改变
- 例子
- 比如，我从N个袋子里摸出一个球，那么这个球来自其中一个袋子的概率是多少呢？是1/N吗？1/N是一般的先验概率，我们没有更多信息，只能假设随机拿1个球，来自各个袋子的概率是均等的，和丢硬币一样。所以只能假设为1/N
- 但是一旦知道，每个袋子里球的多少，甚至黑球白球多少，以及拿道是黑球白球就可以展开进一步的推论，这个过程，是预期修正，是学习过程？
5.4 bayes公式：主观思考和客观世界的桥梁
- bayes公式：主观思考和客观世界的桥梁 ，理论上我没太理解这个
- 但是有一个题目的例子让我勉强理解这个意思
- 比如常见题
- A袋子里有2黑2白，B袋子有1黑3白
- 如果随机取1个黑球，问来自袋子A的概率多大？
- 如果随机取出来的是一个球，而不知道是黑球，那么这个球来自A和B的概率，我们没有更多信息，只能盲猜是50%，这个就是先验概率吧？
- 但是如果知道取出来的这个球，是黑球，就可以计算来自A袋子的概率
- P(来自A| 随机取到1个黑球) = P( 随机取到1个黑球| 来自A) / P(随机取到1个黑球)
- = P( 随机取到1个黑球| 来自A) / P(随机取到1个黑球)
- =(2/4*1/2) / (2/4*1/2+1/4*)=2/3
- 先验概率
- P(来自A| 随机取到1个球) =1/2
- 后验概率
- P(来自A| 随机取到1个黑球) =2/3
- 似然系数，就是两个袋子里球的分布吧，这个也是有用的信息
- 大概这么解释是对的吧，呃 ~ ~
6 其他例子
- 网上有一些处理垃圾邮件的贝叶斯思路例子，学习，挺有意思
- 下图来源网上，搜垃圾邮件，贝叶斯可以搜到，暂存以后学习
概率论的学习整理5：贝叶斯（bayes）法则和贝叶斯概率相关推荐
- 概率论的学习整理1： 集合和事件，以及概率是什么？
目录 为什么最近开始重新学习数学 1 集合 set 1.1 集合的基础概念 1.2 韦恩图,文氏图 1.3 韦恩图很有用 1.4 基本的集合关系 2 实验和事件 2.1 先贴下本地的笔记图 2.2 ...
- 概率论的学习整理--番外1：可重复且无次序的计数公式C(n+k-1,k) 的例题 ： 同时丢3个骰子，会有多少种情况？答案不是216而是56！
总结:题目理解 同时丢3个骰子,3个骰子同时丢,其结果是不能分辨出骰子的次序的,这样可能的情况是6*6*6=216 所以也可以等价视为,丢1个骰子,实验3次,但是这样的实验可以记录次序,所以要去掉排序 ...
- 机器学习贝叶斯学习心得_贝叶斯元学习就是您所需要的
机器学习贝叶斯学习心得 Update: This post is part of a blog series on Meta-Learning that I'm working on. Check o ...
- 生成模型学习笔记：从高斯判别分析到朴素贝叶斯
机器之心专栏 作者:张威 翻译:燕子石 本文是哥伦比亚大学研究生张威在生成模型上的学习笔记,由毕业于新西兰奥克兰理工大学的燕子石翻译.机器之心之前曾介绍过张威所写的吴恩达<机器学习>课程的 ...
- [机器学习] 分类 --- Naive Bayes（朴素贝叶斯）
一.概率知识点复习 (1)条件概率 就是事件A在另外一个事件B已经发生条件下的发生概率.条件概率表示为P(A|B),读作"在B条件下A的概率". (2)联合概率 可以简单的理解为事 ...
- 分类算法之贝叶斯(Bayes)分类器
摘要:旁听了清华大学王建勇老师的 数据挖掘:理论与算法 的课,讲的还是挺细的,好记性不如烂笔头,在此记录自己的学习内容,方便以后复习. 一:贝叶斯分类器简介 1)贝叶斯分类器是一种基于统计的分类器,它 ...
- naive bayes java_Naive Bayes（朴素贝叶斯）
Naive Bayes Bayes' theorem(贝叶斯法则) 在概率论和统计学中,Bayes' theorem(贝叶斯法则)根据事件的先验知识描述事件的概率.贝叶斯法则表达式如下所示: $$ \ ...
- 贝叶斯(Bayes)——算法概念梳理与实际应用
基本概念导引: 贝叶斯法是关于随机事件A和B的条件概率和边缘概率的. 其中P(A|B)是在B发生的情况下A发生的可能性. 为完备事件组,即 在贝叶斯法则中,每个名词都有约定俗成的名称: P(A)是 ...
- Naive Bayes（朴素贝叶斯）
Naive Bayes Bayes' theorem(贝叶斯法则) 在概率论和统计学中,Bayes' theorem(贝叶斯法则)根据事件的先验知识描述事件的概率.贝叶斯法则表达式如下所示: P(A| ...
最新文章
- ArcGIS Server 10.1动态图层 以及Windows Phone/Silverlight客户端实现
- [转]如何讓IE7中關閉瀏覽器不出現詢問
- 【工具收藏】golang 开发工具包，json、sql 转 struct
- 工作章 - 小程序web-view分享 流泪爬坑记
- Django——Model
- 【算法】剑指 Offer 18. 删除链表的节点
- python 多线程笔记（2）-- 锁
- Leetcode 105. 前序和中序遍历序列构造二叉树
- Linux 程序运行时报错：找不到库文件[cannot open shared object file: No such file or directory ```](转载)
- 脚本录制软件python 按键精灵 tc_GitHub - yang-dongxu/KeymouseGo: 类似按键精灵的鼠标键盘录制和自动化操作...
- VMware Data Recovery安装配置
- POI动态下载Excel模板案例
- Linux中chmod命令修改权限详解
- 递归算法经典实例小结(C#实现)
- MATLAB人脸识别PCA设计
- 6种交互式内容创意帮助跨境电商卖家提高独立站商店知名度
- jetson用什么编译器_Jetson Nano安装 Jupyter lab
- python图片转文字
- 在Microsoft Office、Visio、WPS中用LaTeX的方式编辑公式
- BLUES吉他学习笔记004 bluesrv[8]