贝叶斯定理

朴素贝叶斯算法

高斯朴素贝叶斯

伯努利朴素贝叶斯

多项式朴素贝叶斯

贝叶斯网络

最简单的贝叶斯网络

全连接贝叶斯网络

一般化的贝叶斯网络

引子

参赛者会看见三扇关闭了的门，其中一扇的后面有一辆汽车，选中后面有车的那扇门可赢得该汽车，另外两扇门后面则各藏有一只山羊。当参赛者选定了一扇门，但未去开启它的时候，节目主持人开启剩下两扇门的其中一扇，露出其中一只山羊。主持人其后会问参赛者要不要换另一扇仍然关上的门。问题是：换另一扇门会否增加参赛者赢得汽车的机率？

贝叶斯定理

先验概率P(A)：在不考虑其他的情况下，A事件发生的概率。

条件概率P(B|A)：A事件发生的情况下，B事件发生的概率。

后验概率P(A|B)：在B事件发生之后，对A事件发生的概率的重新评估。

$P(A|B)=\frac{P(AB)}{P(B)}$

全概率：如果A和A’ 构成样本空间的一个划分，那么事件B的概率为A和A’ 的概率分别乘以B对这两个事件的概率之和。

$\begin{aligned}P(B)&=P(A)\times P(B|A)+P(A')\times P(B|A') \\P(B)&=\sum_{i=1}^nP(A_i)\times P(B|A_i)\end{aligned}$

基于条件概率的贝叶斯定律数学公式：

$\begin{aligned}P(A|B)&=\frac{P(A)\times P(B|A)}{P(B)} \\&\frac{P(A)\times P(B|A)}{\sum_{i=1}^nP(B|A_i)\times P(A_i)}\end{aligned}$

朴素贝叶斯算法

朴素贝叶斯（Naive Bayes， NB）是基于“特征之间是独立的”这一朴素假设，应用贝叶斯定理的监督学习算法。对应给定的样本X的特征向量 $x_1, x_2,\dots, x_m$ ，该样本X的类别y的概率可以由贝叶斯公式得到：

$P(y|x_1, x_2, \dots, x_m)=\frac{P(y)P(x_1, x_2, \dots, x_m|y)}{P(x_1, x_2, \dots, x_m)}$
算法推导

特征属性之间是独立的，所以

$P(x_i|y,x_1, x_2, ..., x_{i-1},...,x_{i+1},x_m)=p(x_i|y)$

公式优化得到：

$P(y|x_1, x_2, \dots, x_m)=\frac{P(y)P(x_1, x_2, \dots, x_m|y)}{P(x_1, x_2, \dots, x_m)}=\frac{p(y)\prod_{i=1}^{m} p(x_i|y)}{P(x_1, x_2, \dots, x_m)}$

在给定样本的条件下， $P(x_1, x_2, \dots, x_m)$ 是常数，可以省略，得到：

$P(y|x_1, x_2, \dots, x_m)\propto p(y)\prod_{i=1}^{m} p(x_i|y)$

从而得到

$\hat{y}= \arg \max (p(y)\prod_{i=1}^{m} p(x_i|y))$

朴素贝叶斯算法流程：

设 $x=\{a_1, a_2, \dots, a_m\}$ 为待分类项，其中a为x的一个特征属性
类别集合为 $C=\{y_1, y_2, \dots, y_n\}$
分别用贝叶斯公式计算 $P(y_1|x), P(y_2|x), \dots, P(y_n|x)$ 的值，、
如果 $P(y_k|x)=\max\{P(y_1|x), P(y_2|x), \dots, P(y_n|x)\}$ ,那么认为x为 $y_k$ 类型

高斯朴素贝叶斯

Gaussian Naive Bayes是指当特征属性为连续值时，而且分布服从高斯分布，那么在计算P(x|y)的时候可以直接使用高斯分布的概率公式：

$\begin{aligned}g(x, \eta, \sigma)&=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\eta)^2}{2\sigma^2}} \\P(x_k|y_k)&=g(x_k, \eta_{y_k}, \sigma_{y_k})\end{aligned}$

因此只需要计算出各个类别中此特征项划分的各个均值和标准差。

伯努利朴素贝叶斯

Bernoulli Naive Bayes是指当特征属性为连续值时，而且分布服从伯努利分布，那么在计算P(x|y)的时候可以直接使用伯努利分布的概率公式：

$P(x_k|y)=P(1|y)x_k+(1-P(1|y))(1-x_k)$

伯努利分布是一种离散分布，只有两种可能的结果。1表示成功，出现的概率为p。0表示失败，出现的概率为q=1-p。其中均值为E(x)=p，方差为Var(X)=p(1-p)。

多项式朴素贝叶斯

Multinomial Naive Bayes是指当特征属性服从多项分布，从而，对于每个类别y，参数为 $\theta _y=(\theta_{y_1}, \theta_{y_2}, \dots, \theta_{y_n})$ 其中n为特征属性数目，那么 $P(x_i|y)$ 的概率为 $\theta _{y_i}$

$\begin{aligned}\theta _{y_i}&=\frac {N_{y_i}+\alpha}{N_y+\alpha\times n} \\N_{y_i}&=\sum_{x\in T}x_i \\N_y&=\sum_{i=1}^{|T|}N_{y_i}\end{aligned}$

贝叶斯网络

把某个研究系统中涉及到的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。

贝叶斯网络（Bayesian Network），又称有向无环图模型（directed acyclic graphical model，DAG），是一种概率图模型，根据概率图的拓扑结构，考察一组随机变量 $\{X_1, X_2, \dots, X_n\}$ 及其N组条件概率分布（Conditional Probabililty Distributions，CPD）的性质。

当多个特征属性之间存在着某种相关关系的时候，使用朴素贝叶斯算法就没法解决这类问题，那么贝叶斯网络就是解决这类应用场景的一个非常好的算法。

一般而言，贝叶斯网络的有向无环图中的节点表示随机变量，可以是可观察到的变量，或隐变量、未知参数等等。连接两个节点之间的箭头代表两个随机变量之间的因果关系（也就是这两个随机变量之间非条件独立），如果两个节点间以一个单箭头连接在一起，表示其中一个节点是“因”，另外一个是“果”，从而两节点之间就会产生一个条件概率值。每个节点在给定其直接前驱的时候，条件独立于其后继。
贝叶斯网络的关键方法是图模型，构建一个图模型我们需要把具有因果联系的各个变量用箭头连在一起。贝叶斯网络的有向无环图中的节点表示随机变量。连接两个节点的箭头代表此两个随机变量是具有因果关系的。贝叶斯网络是模拟人的认知思维推理模式的，用一组条件概率以及有向无环图对不确定性因果推理关系建模。

最简单的贝叶斯网络

$P(a, b, c)=P(c|a, b)P(b|a)P(a)$

全连接贝叶斯网络

每一对节点之间都有边连接

$\begin{aligned}P(x_1, x_2, \dots, x_n)&=P(x_n|x_1, x_2, \dots, x_{n-1})\dots P(x_2|x_1)P(x_1) \\P(x_1, x_2, \dots, x_n)&=\prod_{i=2}^nP(x_i|x_1, x_2, \dots, x_{i-1})\times P(x_1)\end{aligned}$

一般化的贝叶斯网络

$x_1, x_2, x_3$ 独立 $x_6$ 和 $x_7$ 在给定条件下独立 $x_1, x_2, x_3\dots x_7$ 的联合分布为：

$p(x_1, x_2, x_3, x_4, x_5, x_6, x_7)=p(x_1)p(x_2)p(x_3)p(x_4|x_1, x_2, x_3)p(x_5|x_1, x_3)p(x_6|x_4)p(x_7|x_4, x_5)$

案例

机器学习之朴素贝叶斯、贝叶斯网络相关推荐

机器学习之朴素贝叶斯一
文章目录一.概述二.什么是贝叶斯? 三.朴素贝叶斯与贝叶斯决策论的关系四.贝叶斯理论推导. 1.条件概率 2. 全概率公式: 3.进行最后计算: 4. 推广到朴素贝叶斯的这里说明一下为什么缺少 ...
【机器学习】朴素贝叶斯、SVM和数据分布检验分析
[机器学习]朴素贝叶斯.SVM和数据分布检验分析文章目录 1 朴素贝叶斯 2 SVM2.1 线性可分2.2 最大间隔超平面2.3 SVM 最优化问题 3 数据分布检验方法3.1 数据分布检验3.2 ...
机器学习：朴素贝叶斯
机器学习:朴素贝叶斯 1 朴素贝叶斯应用场景 2 朴素贝叶斯相关公式 3 sklearn库中朴素贝叶斯运用 3.1 伯努利朴素贝叶斯 3.2 多项式朴素贝叶斯 3.3 高斯朴素贝叶斯 4 代码 4.1 ...
机器学习：朴素贝叶斯模型算法原理（含实战案例）
机器学习:朴素贝叶斯模型算法原理作者:i阿极作者简介:Python领域新星作者.多项比赛获奖者:博主个人首页
机器学习之朴素贝叶斯 1
机器学习之朴素贝叶斯 1 朴素贝叶斯 2 朴素贝叶斯应用 3 代码实现贝努力朴素贝叶斯 4 代码实现高斯朴素贝叶斯 5 代码实现多项式朴素贝叶斯 6 总结前言:主要介绍朴素贝叶斯的概念.公式,以及代 ...
【机器学习算法-朴素贝叶斯、支持向量机】
机器学习算法-朴素贝叶斯算法 1.朴素贝叶斯算法 2.支持向量机 2.1SVM基本综述 1.朴素贝叶斯算法朴素贝叶斯是生成模型,需要根据已有的数据求出先验概率. 1.联合概率 2.条件概率 3.相互 ...
机器学习实战---朴素贝叶斯算法实现+使用K折交叉验证（代码详解+创新）
<机器学习实战朴素贝叶斯算法实现+使用K折交叉验证> 未经允许,不得擅自转载! 提供数据集如下(永久有效,需要的自行下载): 链接:https://pan.baidu.com/s/1Sv0 ...
机器学习实战朴素贝叶斯分类器
基于概率论的分类方法: 朴素贝叶斯我的微信公众号: s406205391; 欢迎大家一起学习,一起进步!!! k-近邻算法和决策树会给出"该数据属于哪一类"的明确回答.不过,分类 ...
机器学习之朴素贝叶斯（Naive Bayes）
1 朴素贝叶斯算法介绍朴素贝叶斯是经典的机器学习算法之一,也是为数不多的基于概率论的分类算法.朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论,有着坚实 ...

机器学习之朴素贝叶斯、贝叶斯网络

引子

贝叶斯定理

朴素贝叶斯算法

$P(y|x_1, x_2, \dots, x_m)=\frac{P(y)P(x_1, x_2, \dots, x_m|y)}{P(x_1, x_2, \dots, x_m)}$
算法推导

朴素贝叶斯算法流程：

高斯朴素贝叶斯

伯努利朴素贝叶斯

多项式朴素贝叶斯

贝叶斯网络

最简单的贝叶斯网络

全连接贝叶斯网络

一般化的贝叶斯网络

机器学习之朴素贝叶斯、贝叶斯网络相关推荐

最新文章

热门文章

机器学习之 朴素贝叶斯、贝叶斯网络

引子

贝叶斯定理

朴素贝叶斯算法

算法推导

朴素贝叶斯算法流程：

高斯朴素贝叶斯

伯努利朴素贝叶斯

多项式朴素贝叶斯

贝叶斯网络

最简单的贝叶斯网络

全连接贝叶斯网络

一般化的贝叶斯网络

机器学习之 朴素贝叶斯、贝叶斯网络相关推荐

最新文章

热门文章

机器学习之朴素贝叶斯、贝叶斯网络

$P(y|x_1, x_2, \dots, x_m)=\frac{P(y)P(x_1, x_2, \dots, x_m|y)}{P(x_1, x_2, \dots, x_m)}$
算法推导

机器学习之朴素贝叶斯、贝叶斯网络相关推荐