记得大二的时候，概率论里面有全概率公式这么一个东西，可是当时仅仅为了应付考试并没有体会到贝叶斯的强大，接触机器学习之后，渐渐体会到贝叶斯的神奇，也能通过贝叶斯来解释更多的模型。

贝叶斯由来
- 与日常思维相似的推导过程
- 由已知推导未知
贝叶斯的应用
- 朴素贝叶斯
- 贝叶斯网络
换个角度理解贝叶斯
贝叶斯与正则化防止过拟合

贝叶斯由来

与日常思维相似的推导过程

以下是火影忍者剧情中的某个日常:
第一集:某风和日丽的上午,三代目火影翻阅着暗部递交上来的各国侦查信息,突然暗部X跑来告知,漩涡鸣人又来恶搞历代火影的雕像了!作为成年村长,三代目肯定要迅速想一下这事的可能性,总不能别人突然跑来跟你说历代火影复活入侵了你就发动最高戒备吧.
[稍等,频道切换一下:我们假定事件A为{历代火影的雕像被**了},事件B为{这是鸣人闯祸干的},三代目现在要考虑的是概率P(B|A)P(B|A)]
鸣人的日常基本就是各种恶作剧引起村人的注意力,而且他最大的武器就是恶搞雕像[P(B|A)=(P(A|B)P(B)P(A)P(B|A)=\frac{(P(A|B) P(B)}{P(A)},鸣人的闯祸概率比较大,而他恶搞雕像更是他闯祸的日常,且不论P(A),因为P(A)这个雕像从之前来看..基本上偶尔发生一次,比较固定]
大脑快速の推断,你觉得推断出来的结果是鸣人闯祸而且恶搞了雕像的概率是很大的.然后…..巴拉巴拉一堆
成语三人成虎背后的贝叶斯推理
假如暗部Y跑进来说,X说错了,是志乃干的,三代目脑袋里迅速的响应志乃恶作剧的概率(先验概率),志乃平时温和的性格以及较低的存在感,三代目觉得这肯定不可能.然后Z,K,W等等一堆暗部也跑进来了,都说是志乃干的!渐渐的,三代目开始怀疑了,由于一大堆人都说是志乃干的,脑子里对应的P(A|B)P(A|B)已经很大了,这个时候,三代目开始逐渐怀疑是否是志乃了,最后认为这很大可能性就是志乃干的!毕竟那么多人都说是他啊.

由已知推导未知

贝叶斯表达的数学式子可以让我们从现在所有的经验知识中推导某个事件发生的概率,这就是贝叶斯对于传统的统计方法最大的区别.

比如现在我们手上有一些医疗数据,需要根据医疗数据对老百姓提供一个合理的降低患癌率的建议.那么我们就要知道各种不良生活习惯对于致癌的影响多大对吧.
现在我们想知道患癌是抽烟引起的可能性是多少?我们可以通过调研以下数值来提供一个参考:
- 老百姓的患癌率是多少
- 老百姓抽烟的人群比例是多少
- 抽烟的人群中患了癌症的比例又是多少呢
然后我们可以通过贝叶斯公式根据已知的统计数值来的到我们之前想要但是又统计不出来的结果.

多么NICE的一件事!~~~

贝叶斯的应用

朴素贝叶斯

脑洞打开——-所有的特征都是相互独立的!!!

我们通过一个经典的数据集Adult引入朴素贝叶斯,给出一些居民的个人信息,比如,种族,学历,工种,年龄,年收入是否大于20W.然后给出另外一批居民类似的个人信息,但是不知道他们的年收入,现在让你根据居民的信息做出预测其个人的年收入是否达到了20W.
-现在我们需要最大化p(Y|X)p(Y|X),根据贝叶斯公式我们有P(Y|X)=P(X|Y)(Y)P(X)P(Y|X)=\frac{P(X|Y)(Y)}{P(X)}
对于某个居民的信息,P(X),P(Y)P(X),P(Y)对应的值都是一样的,所以我们重点关注P(X|Y)P(X|Y),然而我们已经假设了所有的特征之间都是相互独立的,所以我们有P(X|Y)=∑ni=1P(xi|Y)P(X|Y)=\sum_{i=1}^nP(x_i|Y)
所以我们现在可以通过统计获得以上的P(xi|Y)P(x_i|Y)通过比较不同的Y对应的计算结果,就可以预测该居民的年收入时候是大于20W的概率更大还是不够20W的概率更大了
具体的数学推导:举个例子,假设仅有两维的特征
P(x0,x1|Y)=P(x0,x1,Y)P(Y)=P(Y)∗P(x0|P(Y)∗P(x1|x0,Y)P(Y)=P(x0|Y)∗P(x1|x0,Y)P(x_0,x_1|Y)=\frac{P(x_0,x_1,Y)}{P(Y)}=\frac{P(Y)*P(x_0|P(Y)*P(x_1|x_0,Y)}{P(Y)}=P(x_0|Y)*P(x_1|x_0,Y)
由于x0,x1x_0,x_1是完全独立的,所以x0x_0发生与否与x1x_1的发生概率并没有任何关系,所以上面式子中的条件x0x_0可以略去.
即:P(x0|Y)∗P(x1|y)P(x_0|Y)*P(x_1|y),更多的特征纬度以此类推.

贝叶斯网络

在朴素贝叶斯中，我们假设各个特征之间都是相互独立的，然而实际的情况下各个特征之间都不是完全独立的，就拿上一节中提到的训练集来说，某些职业的培养成本比较高，需要接受十余年的教育才能从事相关的工作(eg.医学类专业）所以某些需要高学历的职业更大概率在高学历年龄偏大的人群中。为了解决这个问题，学术界提出了贝叶斯网络的概念。

和朴素贝叶斯不同的是,贝叶斯网络是一个图模型,相对于朴素贝叶斯,它具备以下的优点:
- 模型强调了特征之间的关系,增强了特征之间的联动,特别是当数据中的某个特征缺失的时候,可以通过它的相关节点来提供一定的参考信息,在特征缺失的情况下表现也不俗
- 模型通过训练学习到特征之间的因果关系(类似导引中提到的学历和职业之间的关系),从而增进我们对数据集的了解,通过学习模型,我们可能发现新的不曾注意道的因果关系
- 通过贝叶斯公式的共轭分布我们可以很好地解决过拟合带来的问题,提升模型的泛华能力

换个角度理解贝叶斯

贝叶斯与正则化防止过拟合

致敬贝叶斯以及自己对贝叶斯的一些见解相关推荐

朴素贝叶斯半朴素贝叶斯_使用朴素贝叶斯和N-Gram的Twitter情绪分析
朴素贝叶斯半朴素贝叶斯 In this article, we'll show you how to classify a tweet into either positive or negativ ...
java 稀疏贝叶斯算法_稀疏贝叶斯学习（SparseBayesianLearning）.PDF
稀疏贝叶斯学习(SparseBayesianLearning) 稀疏贝叶斯学习(Sparse Bayesian Learning) 张智林(Zhilin?Zhang)? z4zhang@ Depart ...
变分推断 | MATLAB实现VBMC变分贝叶斯蒙特卡洛模拟的贝叶斯推断
变分推断 | MATLAB实现变分贝叶斯蒙特卡洛模拟的贝叶斯推断目录变分推断 | MATLAB实现变分贝叶斯蒙特卡洛模拟的贝叶斯推断效果一览基本介绍研究内容模型描述模型设计参考资料效 ...
三种常用的朴素贝叶斯实现算法——高斯朴素贝叶斯、伯努利朴素贝叶斯、多项式朴素贝叶斯
朴素贝叶斯在机器学习中,朴素贝叶斯分类器是一系列以假设特征之间强(朴素)独立下运用贝叶斯定理为基础的简单概率分类器. 朴素贝叶斯算法Naive Bayes定义中有两个关键定义:特征之间强假设独立和贝 ...
机器学习之贝叶斯（贝叶斯定理、贝叶斯网络、朴素贝叶斯）
一.概率知识点复习 (1)条件概率就是事件A在另外一个事件B已经发生条件下的发生概率.条件概率表示为P(A|B),读作"在B条件下A的概率". (2)联合概率可以简单的理解为事 ...
[work]从贝叶斯方法谈到贝叶斯网络
0 引言事实上,介绍贝叶斯定理.贝叶斯方法.贝叶斯推断的资料.书籍不少,比如<数理统计学简史>,以及<统计决策论及贝叶斯分析 James O.Berger著>等等,然介绍贝叶 ...
贝叶斯⑥——银行借贷模型（贝叶斯与决策树对比）
贝叶斯机器学习系列: 贝叶斯①--贝叶斯原理篇(联合概率&条件概率&贝叶斯定理&拉普拉斯平滑) 贝叶斯②--贝叶斯3种分类模型及Sklearn使用(高斯&多项式& ...
贝叶斯网络在计算机,贝叶斯网络的特性 - 浙江大学计算机学院.ppt
贝叶斯网络的特性 - 浙江大学计算机学院内容提纲何谓贝叶斯网络? 贝叶斯网络的语义条件分布的有效表达贝叶斯网络中的精确推理贝叶斯网络中的近似推理课后习题.编程实现及研读论文 7.1 何谓贝 ...
贝叶斯理论，朴素贝叶斯算法
贝叶斯原理是英国数学家托马斯·贝叶斯提出的.贝叶斯是个很神奇的人,他的经历类似梵高.生前没有得到重视,死后,他写的一篇关于归纳推理的论文被朋友翻了出来,并发表了.这一发表不要紧,结果这篇论文的思想直接 ...

致敬贝叶斯以及自己对贝叶斯的一些见解

贝叶斯由来

与日常思维相似的推导过程

由已知推导未知

贝叶斯的应用

朴素贝叶斯

贝叶斯网络

换个角度理解贝叶斯

贝叶斯与正则化防止过拟合

致敬贝叶斯以及自己对贝叶斯的一些见解相关推荐

最新文章

热门文章