不可小视的贝叶斯（一）

昨天讲述了研究生做的第一个项目，今天开始进入我的学术研究方向的重点——机器学习，虽然这些文章对于我找一份程序员工作可能没有什么太大的帮助，但是毕竟是之前我花了很多时间研究过的，既然以后的重点都是回忆，那就索性一个不落下吧。另外之所以开始这样的行为，也得益于之前华为的一位技术面试官对我的影响，再次感谢一下这位面试官，很遗憾的是我都不晓得他姓什么。记忆这种东西谁都会忘，大脑可以选择遗忘，这是它的自由，但是如果你放任这种自由，就是你的不对，有些时候你还得强迫它来记住一些你不能忘掉的东西。

看着之前所做的笔记，我都不敢相信这些东西居然是我一点一滴记录下来的，让我不得不感慨，人真是一个神奇的动物。今天讲述的内容来自Rashmi Kankaria的硕士论文A Tool for Constructing and Visualizing Tree Augmented Bayesian Networks，有兴趣的可以下载下来详细阅读。这篇文章主要讲述以下四个部分。

1）机器学习概述

2）贝叶斯理论

3）贝叶斯分类器

4）贝叶斯网络

1）机器学习概述

Thomas G. Dietterich认为机器学习涉及一些学习方法使得机器能够模仿人类学习的过程。由机器学习产生的程序，它能够修改自身的一些信息，通常指的是它的状态，所以对于同样的输入，会有一个不同的输出产生。这是区别于一般程序的主要区别。

机器学习涵盖的子域很多，重点研究的包括监督学习、非监督学习、神经网络、决策树和贝叶斯学习。这些内容我会在后面的内容中慢慢讲述，今天主要讲述贝叶斯。

2）贝叶斯理论

提到贝叶斯，相信工科类的学生并不陌生。贝叶斯方法源于托马斯•贝叶斯（Thomas Bayes）生前为解决一个“逆概”问题写的一篇文章，具体内容大家可以参见wiki上关于他的简介。首先来看一下大家最熟悉不过的贝叶斯定理。贝叶斯定理是一个用于计算条件概率的数学公式，其定义如下：

贝叶斯定理提供了用于计算某个hypothesis h的概率（它也称为后验概率）的方法，而这个方法基于它的先验概率p(h)，给定hypothesis下观察数据的概率p(D/h)（它也称为似然概率），以及观察数据本身的概率p(D)（也称为全概率）。

也许只看公式，还不能形象的说明这个公式的用途，这里举个简单的例子。

假设医生知道患有某种咽喉癌的患者会有严重咽喉痛的概率是40%，而病人患有咽喉癌的概率是0.001%，并且任何病人患有严重咽喉痛的概率是5%。假定t表示患者患有咽喉癌，s表示患者有严重咽喉痛。则有

也就是说，患者有严重咽喉痛的情况下患有咽喉癌的概率是0.008%，即医生可以推测每12500个病人中可能会有一个患有咽喉痛的患者会有咽喉癌。即使咽喉癌与严重的咽喉痛是紧密相关的，但是患有咽喉痛的患者会患有咽喉癌的概率是非常小的。

对这个公式有一定了解后，我们在接着往下看。前面我们已经提到贝叶斯定理计算某个hypothesis的概率也称为后验概率。一般来说，我们的假定可能不止一个，我们希望知道所做的每个假定最大的可能性有多少，也就是说根据已知观察到的数据，我们希望知道某种情况发生的最大概率是多少，通俗的讲就是说最靠谱的假定是什么。由此，我们引入最大后验概率（Maximum a posterior, MAP）这个概念。

注意到，上述第三个公式，我们去掉了全概率p(D)，因为对于所有的hypothesis，该值都是一样的，所以可以忽略掉。

前面我们提到概率p(D/h)为似然概率，我们引入第二个概念，也就是最大似然概率（Maximum Likelihood），它的定义为上述公式的第二个。另外如果对于任何hypothesis他的先验概率如果都等概的话，则有：

根据上述第二个公式，我们可以得到当先验假定概率p(h)为均匀分布时，最大后验概率与最大似然概率是相等的。

贝叶斯之所以为机器学习核心的方法之一，这背后的深刻原因在于，现实世界本身是不确定的，而人类的观察能力是有局限性的。我们所能做的是，如何根据已有的内容推测出最可能的正确的结论。根据贝叶斯，我们可以做两件事情：1）计算出各种不同猜测的可能性的大小；2）找到最有可能的猜测。考虑到篇幅大小，先介绍到这里，后面我在讲述后两节的内容。

不可小视的贝叶斯（一）相关推荐

不可小视的贝叶斯（三）
前面我们已经知道朴素贝叶斯分类器基于一个很强的假定,即对于给定的某个类别,各特征属性之间是相互独立的.这个假定简化了计算过程和减少了分类器的复杂度,但是其限制条件却太过苛刻.因为直观上我们知道,现实世 ...
不可小视的贝叶斯（二）
上次介绍了贝叶斯理论的基本知识,接下来介绍剩下的两部分内容,即:贝叶斯分类器和贝叶斯网络.对于这两部分的内容,涉及太多东西,这里讲述的只是一些基础知识,尽可能将我知道的分享给大家,有错误的地方还希望指 ...
朴素贝叶斯与逻辑回归区别
朴素贝叶斯与逻辑回归有什么异同 1.上述链接大佬详细的介绍了朴素贝叶斯.逻辑回归的由来. 2.在B站李宏毅老师机器学习课中第4讲Classification中提到了从贝叶斯公式推导出逻辑函数的激活函数 ...
先验概率,后验概率,条件概率,贝叶斯
from: https://blog.csdn.net/yangang908/article/details/62215209 and : https://my.oschina.net/xiaoluo ...
朴素贝叶斯知识点概括
1. 简述贝叶斯是典型的生成学习方法对于给定的训练数据集,首先,基于特征条件独立假设,学习输入/输出的联合概率分布:然后,基于此模型,对于给定的输入x,根据贝叶斯定理求后验概率最大的输出y 术语说 ...
机器人控制算法——Bayes Filter贝叶斯滤波器
机器人控制算法--Bayes Filter贝叶斯滤波器概率方法 Probabilistic Approaches. Recursive Bayes Filter. Prediction and Co ...
机器学习（8）朴素贝叶斯算法（20条新闻分类）
目录一.基础理论二.实战:20条新闻分类 1.读取数据 2.训练集划分 3.特征工程(文本特征提取) 4.朴素贝叶斯算法训练 5.模型评估方法一:预测值与真实值比对方法二:计算准确率总代码 ...
【机器学习入门】(3) 朴素贝叶斯算法：多项式、高斯、伯努利，实例应用（心脏病预测）附python完整代码及数据集
各位同学好,今天我和大家分享一下朴素贝叶斯算法中的三大模型.在上一篇文章中,我介绍了朴素贝叶斯算法的原理,并利用多项式模型进行了文本分类预测. 朴素贝叶斯算法 -- 原理,多项式模型文档分类预测,附p ...
【机器学习入门】(2) 朴素贝叶斯算法：原理、实例应用（文档分类预测）附python完整代码及数据集
各位同学好,今天我向大家介绍python机器学习中的朴素贝叶斯算法.内容有:算法的基本原理:案例实战--新闻文档的分类预测. 案例简介:新闻数据有20个主题,有10万多篇文章,每篇文章对应不同的主题, ...

不可小视的贝叶斯（一）

不可小视的贝叶斯（一）相关推荐

最新文章

热门文章