机器学习教程之朴素贝叶斯、贝叶斯信念网络

在介绍朴素贝叶斯和贝叶斯信念网络之前，我们首先得知道其中涉及到的相关概念和背景知识。

概念和背景知识

条件概率

条件概率就是指已知事件B发生的条件下，事件A发生的概率（即事件A在事件B发生下的条件概率），记为

根据上面的Venn 图可以很容易清楚地知道，在事件B发生的情况下，事件A发生的概率等于P(A∩B)除以P(B)，所以条件的公式即为：

全概率公式

出了条件概率之外，还有可能会用到全概率公式。所以，我们简单介绍一下全概率公式。

假定样本空间S，是两个事件A与A'所构成。如下图：

然后在这个样本空间S中，任意一个事件B，如下图：

那么，对于事件B，它发生的概率就等于事件A和B同时发生的概率与事件A'和事件B同时发生的概率之和，即

由之前的条件概率公式可以得出A和B同时发生的概率：

所以，任意事件B的概率可以下次如下形式：

同理，可以推广到由n个事件构成的样本空间：

贝叶斯公式

对条件概率进行变形可以得到，对于任何事件A满足：P(Ai|B)P(B)=P(B|Ai)*P(Ai)，即P(Ai|B)=P(B|Ai)*P(Ai)/P(B)

由全概率公式

替换条件概率中的P(B)，得到下面的贝叶斯公式：

我们把贝叶斯公式中的P(Bi)称作时间Bi的先验概率，这是一种事件发生前的预判概率，一般基于先验知识。

而P(A|Bi)是在Bi事件发生的条件下事件A发生的概率（条件概率，这也是一种后验概率）

P(Bi|A)是在事件A发生条件下事件Bi发生的概率(条件概率，这也是一种后验概率，这一般使我们求解的目标）

属性条件独立性假设

对已知类别，假设所有属性相互独立。或者说，假设每个属性独立地对分类结果发生影响。

如果两个事件A和B是相互独立的，那么有：

X可以写成：

故p(c|x)可写成：

注意p(x)=。

由于分母是常量，与c无关，故我们计算c的各种取值的可能性时并不会对各结果的相对大小产生影响。因此可以忽略。

贝叶斯分类算法原理

朴素贝叶斯分类器

贝叶斯信念网络

贝叶斯信念网络，简称贝叶斯网络。它是由一个有向无环图和一个条件概率表所组成。其中，有向无环图是表示一组随机变量以及它们之间的条件依赖关系，每个结点代表一个随机变量，每条弧代表一个概率依赖。如果一条弧由结点X到Y，则X是Y的双亲或直接前驱，而Y是Z的后继。

条件概率表则是用来描述属性之间的联合概率分布。

举个例子吧：

上图中的西瓜问题的一种贝叶斯网结构和属性" 根蒂"的条件概率表。从图中网络结构可看出，而"根蒂"则直接依赖于"甜度"。进一步从条件概率表能得到"根蒂"对"甜度"的依赖关系，如P(根蒂=硬挺|甜度=高) =0.1。

贝叶斯网结构有效地表达了属性间的条件独立性。贝叶斯信网络的一个重要性质描述了各随机变量（节点）之间的条件独立假设：给定某一节点的双亲，则该随机变量条件独立于有向无环图中所有它的非后代。

如果是上面这个例子，则：

x3和x4在给定x1的取值时独立，x4和x5在给定x2的取值时独立。

构造与训练贝叶斯网络分为以下两步（也就是说，给你一个训练元组，要用贝叶斯信念网络进行分类，需要做的事）：

(1)确定随机变量间的拓扑关系，形成DAG。这一步通常需要领域专家完成，而想要建立一个好的拓扑结构，通常需要不断迭代和改进才可以。

(2)训练贝叶斯网络。这一步也就是要完成条件概率表的构造，如果每个随机变量的值都是可以直接观察的，那么这一步的训练是直观的，方法类似于朴素贝叶斯分类。但是通常贝叶斯网络中存在隐藏变量节点，那么训练方法就是比较复杂，例如可使用梯度下降法。