第九章 贝叶斯信念网络分类
朴素贝叶斯分类有一个限制条件，就是假定类条件独立（即给定元组的类标号，假定属性的值可以条件地相互独立）。当这个条件成立时，朴素贝叶斯分类法的准确率是最高的。然而，在实践中，变量（属性）之间可能存在依赖关系，这样就限制了朴素贝叶斯分类的能力。贝叶斯信念网络说明联合条件概率分布，它提供一种因果关系的图形模型，可以在其上进行学习。它不要求所有的属性集都条件独立，而允许一部分属性条件独立。训练后的贝叶斯信念网络可以用于分类。
1、概念和机制
贝叶斯信念网络也被称作信念网络、贝叶斯网络和概率网络。为了简便，后面都用信念网络代替。
信念网络由两部分定义——有向无环图（DAG）和条件概率表（CPT）
（1）有向无环图：其每个结点代表一个随机变量。变量可以是离散值的或连续值的，它们可能对应于给定数据中的实际属性，或对应于相信形成联系的“隐藏变量“（例如，在医疗数据中，隐藏变量可以预示由多种症状表示的综合病症，刻画一种具体的疾病）。而每条弧代表一个概率依赖。如果一条弧由结点Y到Z，则Y是Z的双亲或直接前驱，而Z是Y的后继。
（2）条件概率表：每个变量（属性）都有一个条件概率表。变量Y的CPT说明条件分布P(Y|Parents(Y))，其中Parents(Y)是Y的双亲。
贝叶斯信念网络的重要性质：给定其双亲，每个变量条件独立于图中它的非后代。
例子（一个6个布尔变量的简单信念网络）：
注意，倘若已知患者得了肺癌，变量PositiveXRay独立于该患者是否具有家庭肺癌史，也独立于它是否吸烟。换言之，一旦我们知道变量LungCancer的结果，那么变量FamilyHistory和Smoker就不再提供关于PositiveXRay的任何附加信息。这些弧还表明：给定其双亲FamilyHistory和Smoker，变量LungCancer条件独立于Emphysema（LungCancer唯一的非后代）。
图b显示了变量LungCancer的CPT。从左上角和右下角的表目，我们可以看到：
P(LungCancer=yes|FamilyHistory=yes,Smoker=yes)=0.8
P(LungCancer=no|FamilyHistory=no,Smoker=no)=0.9
设 X=(x1,x2, ..., xn) 是被属性 Y1,..., Yn 描述的数据元组。则联合概率分布:
其中，P(x1, x2, ..., xn)是X的值的特定组合的概率，而P(xi|parents(Yi))的值对应于Yi的CPT的表目。
例子：
如上图，对于FamilyHistory，Smoker，LungCancer这三个属性，用朴素贝叶斯计算，得到的联合概率是
。
但是如果用贝叶斯信念网络计算得到的联合概率将会是：，会更为准确。
网络内的节点可选作“输出”节点，代表类标号属性，可有多个输出节点。多种推断和学习算法都可以用于这种网络。分类过程不是返回单个类标号，而是返回概率分布，给出每个类的概率。
2、训练贝叶斯信念网络
构造与训练贝叶斯网络分为以下两步（也就是说，给你一个训练元组，要用贝叶斯信念网络进行分类，需要做的事）：
(1)确定随机变量间的拓扑关系，形成DAG。这一步通常需要领域专家完成，而想要建立一个好的拓扑结构，通常需要不断迭代和改进才可以。
(2)训练贝叶斯网络。这一步也就是要完成条件概率表的构造，如果每个随机变量的值都是可以直接观察的，那么这一步的训练是直观的，方法类似于朴素贝叶斯分类。但是通常贝叶斯网络中存在隐藏变量节点，那么训练方法就是比较复杂，例如可使用梯度下降法。
注：梯度下降法牵涉到一定的微积分知识，有兴趣的同学可以参见其他的资料了解更多。
第九章 贝叶斯信念网络分类相关推荐
- 贝叶斯信念网络分类算法
目录 引言 算法 定义 训练 优点 缺点 总结 参考 引言 在之前的课程和实验中,我们已经了解并实现朴素贝叶斯分类算法.但是朴素贝叶斯分类有一个限制条件,就是特征属性之间必须相互独立.只有当这个条件成 ...
- 独家 | 贝叶斯信念网络初探（附链接）
作者:Jason Brownlee 翻译:陈超 校对:欧阳锦 本文约3500字,建议阅读8分钟 本文共分为5部分,从概率模型的挑战.概率模型--贝叶斯信念网络.如何建立和使用贝叶斯网络.贝叶斯网络范例 ...
- 【数据挖掘】贝叶斯信念网络 ( 马尔科夫假设 | 结构 | 有向无环图 | 参数 | 条件概率表 | 案例分析 )
文章目录 I . 贝叶斯信念网络 II . 马尔科夫假设 III . 贝叶斯信念网络 示例 1 IV . 贝叶斯信念网络 示例 2 V . 贝叶斯信念网络 联合概率分布计算 VI . 贝叶斯信念网络 ...
- 贝叶斯信念网络Bayes Belief network
贝叶斯信念网络Bayes Belief network 文章目录 贝叶斯信念网络Bayes Belief network 1. BBN 2. 两大成分 3. 先验概率 3.1.1 计算患心脏病的概率 ...
- 【海量数据挖掘/数据分析】之 贝叶斯信念网络（贝叶斯信念网络、有向无环图、贝叶斯公式、贝叶斯信念网络计算实例）
[海量数据挖掘/数据分析]之 贝叶斯信念网络(贝叶斯信念网络.有向无环图.贝叶斯公式.贝叶斯信念网络计算实例) 目录 [海量数据挖掘/数据分析]之 贝叶斯信念网络(贝叶斯信念网络.有向无环图.贝叶斯公 ...
- 机器学习算法-10贝叶斯信念网络、聚类算法、基于密度的方法DBSCAN
贝叶斯信念神经网络 bayes belief network (BNN), 朴素贝叶斯分类器需要特征之间相互独立的强条件,制约了模型的适用, 用有向无环图表达变量之间的依赖关系,变量用节点表示,依赖关 ...
- 贝叶斯信念网络和马尔科夫链有什么区别
可以讲,马尔可夫链是贝叶斯网络的特例,而贝叶斯网络是马尔可夫链的推广. 马尔可夫链 (MarkovChain),它描述了一种状态序列,其每个状态值取决于前面有限个状态.这种模型,对很多实际问题来讲是 ...
- 朴素贝叶斯网络matlab实现_基于朴素贝叶斯的文本分类方法实战
基于朴素贝叶斯的文本分类方法 一.朴素贝叶斯原理的介绍 二.朴素贝叶斯分类器的代码实现 分类器有时会产生错误结果,这时可以要求分类器给出一个最优的类别猜测结果,同时会给出这个猜测的概率估计值.朴素贝叶 ...
- 机器学习（六）--------python实现朴素贝叶斯对email分类
贝叶斯分类 4.1 贝叶斯定理 计算条件概率 4.2 朴素贝叶斯分类 朴素:特征条件独立 贝叶斯:基于贝叶斯定理 该方法受限于当特征属性有条件独立或基本独立. 4.3 贝叶斯网络 贝叶斯网络也成为信念 ...
- python朴素贝叶斯的文本分类_自给自足，完全手写一个朴素贝叶斯分类器，完成文本分类...
Part 1: 本文解决的问题: 我在有这样的一个数据集,里面存放了人们对近期播放电影的评价,当然评价也就分成两部分,好评和差评.我们想利用这些数据训练一个模型,然后可以自动的对影评做出判断,到底是好 ...
最新文章
- C++/C++11中引用的使用
- 代码错误信息，微信报错
- 反对人工智能的九条意见是什么？
- HTML DOM Table 对象
- 计算机视觉之一：特征检测
- XP操作系统最优视觉效果
- DevOps组织如何选取拓扑结构以提升协作效能
- T-SQL命令性能比较– NOT IN与SQL NOT EXISTS与SQL LEFT JOIN与SQL EXCEPT
- 3年前的一个小项目经验，分享给菜鸟兄弟们（公文收发小软件：前期需求调查部分）...
- 华为鸿蒙os2.0公测结果,网友收到华为鸿蒙 OS 2.0 手机开发者 Beta 公测邮件
- sql2012，返回数据多时不走索引
- SpringBoot系列(10)：SpringBoot中的全局异常处理
- Arduino连接GPS模块
- 软件开发人员的能力模型
- mysql定时自动备份数据库
- Python 计算思维训练——公式计算
- 数据分析师常用工具有哪些？初学者必看
- 如何获取美团外卖推广链接
- GitHub无法访问下载
- vcs 覆盖率收集2——覆盖率选项 + 合并覆盖率