朴素贝叶斯与贝叶斯网络

标签（空格分隔）： 机器学习

朴素贝叶斯

朴素贝叶斯朴素在哪里呢？ —— 两个假设

• 一个特征出现的概率与其他特征（条件）独立；

• 每个特征同等重要。

  朴素贝叶斯分类器

  \(P(c|x) = \frac{P(c)P(x|c)}{P(x)} = \frac{P(x)}{P(x)}\Pi_{i=1}^{d}P(x_{i}|c)\)
  1）计算先验概率及条件概率；
  2）对于给定的实例，用贝叶斯公式计算后验概率。
  在计算类条件概率时，如果不加平滑因子，则是利用极大似然估计；
  如果加上平滑因子，就是拉普拉斯平滑。

  一个贝叶斯决策的例子

  现在有两个袋子，袋子X中装有2颗红球和2颗黑球，还有1美元；袋子Y中装有1颗红球和2颗黑球。在选择袋子之前，可以从任意一个袋子中选择一个小球，如果摸出来的是红球，应该选哪个袋子？如果摸出来的是黑球。又应该选择哪个袋子？

• 用R表示红球，用B表示黑球。
• 选择每个袋子的概率：\(P(X) = \frac{1}{2}, P(Y) = \frac{1}{2}\);
• 选择了袋子X的条件下摸到红球的概率：\(P(R|X) = \frac{1}{2}\),摸到黑球的概率：\(P(B|X) = \frac{1}{2}\);
• 选择了袋子Y的条件下摸到红球的概率：\(P(R|Y) = \frac{1}{3}\),摸到黑球的概率：\(P(B|Y) = \frac{2}{3}\);
• 由全概率公式：摸到红球的概率\(P(R) = P(R|X)P(X) + P(R|Y)P(Y) = \frac{5}{12}\); 摸到黑球的概率为\(P(B) = P(B|X)P(X) + P(B|Y)P(Y) = \frac{7}{12}\);
• 由贝叶斯公式：
• 摸到红球时，是袋子X的概率为：\(P(X|R) = \frac{P(R|X)P(X)}{P(R)} = \frac{3}{5}\);
• 摸到红球时，是袋子Y的概率为：\(P(Y|R) = \frac{P(R|Y)P(Y)}{P(R)} = \frac{2}{5}\);
• 摸到黑球时，是袋子X的概率为：\(P(X|B) = \frac{P(B|X)P(X)}{P(B)} = \frac{3}{7}\);
• 摸到黑球时，是袋子Y的概率为：\(P(Y|B) = \frac{P(B|Y)P(Y)}{P(B)} = \frac{4}{7}\).

• 所以摸到的球是红色时，选择这个袋子；摸到的球是黑色时，选择另外一个袋子。

图模型

根据是否是有向图，可以分为有向图模型和无向图模型。
有向图模型（又称为贝叶斯网络）：包含隐马尔科夫模型，马尔科夫随机过程；
无向图模型（又称为马尔科夫网络）：条件随机场等

贝叶斯网络

朴素贝叶斯可以看做是贝叶斯网络的特殊情况：即该网络中无边，各个节点都是独立的。
那么，当朴素贝叶斯中的强假设：独立同分布不成立时，应该如何解决呢？可以使用贝叶斯网络。
贝叶斯网络借助有向无环图来刻画属性之间的依赖关系，并使用条件概率表来描述属性的联合概率分布。
贝叶斯网络的学习主要包括3部分：贝叶斯网络\(B\)由结构\(G\)和参数\(\theta\)构成，即\(B = <G, \theta>\)

• 结构，即创建贝叶斯模型；建模型通过领域知识和数据本身得出。
• 学习，即估计模型中的参数；
• 推断，即作出最后的决策。