数据挖掘 贝叶斯网络
贝叶斯网络是一种概率网络,它是基于概率推理的图形化网络,而贝叶斯公式则是这个概率网络的基础。贝叶斯网络是基于概率推理的数学模型,所谓概率推理就是通过一些变量的信息来获取其他的概率信息的过程,基于概率推理的贝叶斯网络(Bayesian network)是为了解决不定性和不完整性问题而提出的,它对于解决复杂设备不确定性和关联性引起的故障有很好的优势,在多个领域中获得广泛应用。
条件概率:在B事件发生的条件下,A事件发生的概率称为条件概率,记为:P(A|B);
乘法定理:P(A|B) = P(A, B) / P(B)。
下面来看看两个例子:
第一个表中的属性之间是可以独立的,但是第二个报的属性之间是不可以相互独立的。
接下来讨论贝叶斯分类中更高级、应用范围更广的一种算法——贝叶斯网络(又称贝叶斯信念网络或信念网络)。
贝叶斯网络
贝叶斯网络由网络结构和条件概率表两部分组成。贝叶斯网的网络结构是一个有向无环图(DCG).由结点和有向弧段组成。每个结点代表一个事件或者随机变量,变量值可以是离散的或连续的,结点的取值是完备互斥的。表示起因的假设和表示结果的数据均用结点表示。
如下图所示:
(1)一个有向无环图:表示变量之间的依赖关系
(2)一个概率表:把各结点与它的直接父结点关联起来
贝叶斯网络的一个重要性质:
贝叶斯网络中的一个结点,如果它的父母结点已知,则它条件独立于它的所有非后代结点
概率表的建立
(2)如果结点X只有一个父母结点Y,则表中包含条件概率P(X|Y)。
(3)如果结点X有多个父母结点{Y1,Y2,...,Yk},则表中包含条件概率P(X|Y1,Y2,...,Yk)。
1.防盗报警问题:
假如X在家中安装了一个警报器
在检测到盗窃或者地震时响铃。
X与邻居John和Mary约定:
在X外出工作时,一旦听到警报声
就马上电话通知X。
该问题有五个随机变量:
Burglary 、Earthquake、
Alarm、
JohnCalls、MaryCalls。
解:
P(j,m,a,~b,~e) = P(j|a)P(m|a)P(a|~b,~e) P(~b) P(~e)
= 0.9x0.7x0.001x0.999x0.998 = 0.00062
= 0.062%
2。贝叶斯网络具有强大的不确定性问题处理能力。贝叶斯网络用条件概率表达各个信息要素之间的相关关系,能在有限的,不完整的,不确定的信息条件下进行学习和推理。
目前对于贝叶斯网络推理研究中提出了多种近似推理算法,主要分为两大类:基于仿真方法和基于搜索的方法。在故障诊断领域里就我们水电仿真而言,往往故障概率很小,所以一般采用搜索推理算法较适合。
在图中,C和S并没有双亲关系,符合条件独立条件: P(C|S)=P(C), P(~C|S) = P(~C), 由此可得: P(E|S) = P(E|S,C)*P(C)+P(E|~C,S)*P(~C)
P(C,~S,~E,L,~B,X,~D)
=P(C)P(~S)P(~E|C,~S)P(L|~S)P(~B|~S)P(X|~E,L)P(~D|L,~B)
=0.11*0.42*0.38*0.05*0.89*0.83*0.67
=0.00043
P(E,L,B,X,D)
=P(E)P(L)P(B)P(X|E,L)P(D|L,B)
=0.83*0.62*0.74*0.96*0.98
=0.358
一个贝叶斯网络由网络结构表示其定性部分,由条件概率分布表示其定量部分。除了对域进行定义,这两部分必须加以指明以构成一个贝叶斯网络,之后在一个基于知识的系统中被用作推导引擎。
构造贝叶斯网络可分为四个阶段。
(1)定义域变量:在某一领域,确定需要哪些变量描述该领域的各个部分,以及每个变量的确切含义。
(2)确定网络结构:由专家确定各个变量之间的依赖关系,从而获得该领域内的网络结构。在确定网络结构时必须注意要防止出现有向环。
(3)确定条件概率分布:通过由专家确定的网络结构来量化变量之间的依赖关系。
(4)运用到实际系统中,并根据系统产生的数据优化贝叶斯网络。
贝叶斯网络理论将先验知识与样本信息相结合、依赖关系与概率表示相结合,是数据挖掘和不确定知识表示的理想模型。与数据挖掘中的其他方法如:粗糙集理论、决策树、人工神经网络等相比,贝叶斯网络具有下列优点。
①贝叶斯网络将有向无环图与概率理论有机结合,不但具有正式的概率理论基础,同时也具有更加直观的知识表示形式。一方面,它可以将人类所拥有的因果知识直接用有向图自然直观地表示出来,另一方面,也可以将统计数据以条件概率的形式融入模型中。这样贝叶斯网络就能将人类的先验知识和后验的数据完美地结合,克服框架语义网络等模型仅能表达处理信息的弱点和神经网络等方法不直观的缺点。
②贝叶斯网络与一般知识表示方法不同的是对于问题域的建模,当条件或行为等发生变化时,不用对模型进行修正。
③贝叶斯网络可以图形化的方式表示随机变量间的联合概率,能够处理各种不确定信息。
④贝叶斯网络没有确定的输入或输出结点,结点之间是相互影响的,任何结点观测值的获取或者对于任何结点的干涉,都会对其他结点造成影响,并可以利用贝叶斯网络推理来进行估计和预测。
贝叶斯网络的推理是以贝叶斯概率理论为基础的,不需要外界的任何推理机制,不但具有理论依据,而且将知识表示与知识推理结合起来,形成统一的整体。
贝叶斯网络在人工智能方面应用的也广泛。
数据挖掘 贝叶斯网络相关推荐
- 数据挖掘第四课(贝叶斯网络)
1.重新考虑上一篇的例子 在前面我们讨论了朴素贝叶斯分类.朴素贝叶斯分类有一个限制条件,就是特征属性必须有条件独立或基本独立(实际上在现实应用中几乎不可能做到完全独立).当这个条件成立时,朴素贝叶斯分 ...
- 机器学习数据挖掘笔记_18(PGM练习二:贝叶斯网络在遗传图谱在的应用)
前言: 这是coursera课程:Probabilistic Graphical Models 上的第二个实验,主要是用贝叶斯网络对基因遗传问题进行一些计算.具体实验内容可参考实验指导教材:bayes ...
- 【数据挖掘】贝叶斯网络理论及Python实现
1.理论知识 1.1贝叶斯网络概述 贝叶斯网络(Bayesian Network,BN)作为一种概率图模型(Probabilistic Graphical Model,PGD),可以通过有向无环图 ...
- 数学推导+纯Python实现机器学习算法12:贝叶斯网络
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 在上一讲中,我们讲到了经典的朴素贝叶斯算法.朴素贝叶斯的一大特点就 ...
- 【机器学习基础】数学推导+纯Python实现机器学习算法12:贝叶斯网络
Python机器学习算法实现 Author:louwill 在上一讲中,我们讲到了经典的朴素贝叶斯算法.朴素贝叶斯的一大特点就是特征的条件独立假设,但在现实情况下,条件独立这个假设通常过于严格,在实际 ...
- 基于MapReduce的贝叶斯网络算法研究参考文献
原文链接(系列):http://blog.csdn.net/XuanZuoNuo/article/details/10472219 论文: 加速贝叶斯网络:Accelerating Bayesian ...
- Stanford概率图模型: 第一讲 有向图-贝叶斯网络
原文链接(系列):http://blog.csdn.net/yangliuy/article/details/8067261 概率图模型(Probabilistic Graphical Model)系 ...
- 贝叶斯网络、拉普拉斯平滑
本总结是是个人为防止遗忘而作,不得转载和商用. 说明:前置知识是朴素贝叶斯,这个我以总结,地址是: http://blog.csdn.net/xueyingxue001/article/details ...
- 【Ryo】SPSS Modeler:贝叶斯网络在预测银行信贷风险中的应用
对银行信贷来说,如何量化客户违约的可能性,对潜在的风险进行预测是管理决策层关注的重中之重.面对复杂的信息结构和庞大的人群数据,运用贝叶斯网络能够理清相关影响因素的关联关系,是现在提高信贷违约风险预测正 ...
最新文章
- 百度地图 ip查询 service
- 标定板标定和九点标定的区别_射频导纳物位计的标定方法
- 心路历程(五)-find work and find house
- 什么是Cookie对象,Session对象,Application对象等问题
- 微信小程序通用功能设计和实现
- Linux网络防火墙:iptables与netfilter
- 满足ThreadLocal目的
- inovance变频器说明书参数设置_汇川变频器功能参数设置及实操训练
- 华为手机怎么把计算机放到桌面,将华为手机投影到计算机屏幕
- Windows10蓝屏提示错误操作Wdwifi.sys
- 网络同步在游戏历史中的发展变化(二)—— Lockstep与帧同步
- MATLAB在图像上标记特定点
- 控制结构:1.台球游戏
- 手把手让你实现开源企业级web高并发解决方案
- 数据科学和机器学习中的优化理论与算法(上)
- 有苦有乐的算法 --- 使用栈结构实现队列结构
- 微信小程序商品购物车
- 【以终为始,与梦同行】致那些努力奔跑的人
- matlab 工具箱 GATBX 的安装,安装Sheffield Matlab遗传算法工具箱的建议
- 孙叫兽带你了解腾讯位置服务的认证与接入,多种行业方案参考!
热门文章
- wireshark详解
- 快手给好友发消息显示服务器繁忙,发语音对方忙线中是什么意思
- python图像相乘运算_MATLAB:图像乘除法运算(immultiply、imdivide函数),同时比较双精度类型图像运算结果...
- python数值积分_Python求解数值积分
- 如何保证linearlayout_怎么让LinearLayout占据父布局的所有剩余空间
- 谈谈多门程序语言的学习策略之一
- 学习笔记26-解决:载入预训练模型时Pytorch遇到权重不匹配的问题(附+修改后的预训练模型载入和冻结特征权重完整代码)
- openid 获取失败 errcode 40029 errmsg “invalid code, rid: 643e7e48-3d5b7ec3-66ca1f03“
- Ad et fuga nostrum laboriosam cum consequuntur culpa.
- 华为数通HCIA学习笔记——IP编址