作者：CHEONG

公众号：AI机器学习与知识图谱

研究方向：自然语言处理与知识图谱

阅读本文之前，先注意一下两点：

1、机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论，方便最快速度理解本文核心。需要进一步了解推导细节可继续往后看；

2、文中含有大量公式，若读者需要获取含公式原稿Word文档，可关注公众号【AI机器学习与知识图谱】后回复：概率图模型第六讲，可添加微信号【17865190919】进公众号讨论群，加好友时备注来自CSDN。原创不易，转载请告知并注明出处！

本文主要介绍概率图中的两类图：因子图和道德图。

一、本文结论

1、因子图作用：有向图有时需要转为无向图，但在转化过程中会引入环，图中存在环不好处理，因子图的作用是：一方面因子图可以将图中的环去掉；另一方面因子图会使得图计算变得简便；

2、道德图含义：道德图是指在有向图转化为无向图时，这个无向图就又被称为道德图，主要需要掌握的是如何将一个有向图转化为道德图，具体看正文。

二、因子图Factor Graph

有向图可以转为无向图，但转为无向图过程中可能会引入环。例如Belief Propagation算法只能处理树形结构，含有环便不好处理。因此因子图的引入有以下两个作用：

1、首先因子图可以将图中的环去掉，转化为无环图，2、因子图会使得计算变得简便

对于图G={x1,x2,...,xn}G=\{x_1,x_2,...,x_n\}G={x1,x2,...,xn}，因子图可表达成：

其中SSS是图中节点子集，xsx_sxs是sss的随机变量子集。因式分解本身就对应一个特殊的因子图。一个无向图可以存在多个因子图，在无向图中加入因子节点，以下展现了一个有环无向图两种因子分解图的形式：

三、Moral Graph道德图

将有向图转化为无向图时，该无向图又被称为道德图Moral Graph，为什么要将有向图转化为无向图：因为无向图更加Generalize一些，更方便处理。有向图GGG转化为无向图有两大准则：

1、∀xiϵG\forall x_i \epsilon G∀xiϵG，将Parent(xi)Parent(x_i)Parent(xi)两两连接起来；
2、将GGG中的有向边替换成无向边。

下面展现了四种有向图转化为无向图的例子：

上图中有向图因式分解：p(a,b,c)=p(a)⋅p(b∣a)⋅p(c∣b)p(a,b,c)=p(a)\cdot p(b|a)\cdot p(c|b)p(a,b,c)=p(a)⋅p(b∣a)⋅p(c∣b)，转化后的无向图因子分解为：p(a,b,c)=ψ(a,b)⋅ψ(b,c)p(a,b,c)=\psi(a,b)\cdot \psi(b,c)p(a,b,c)=ψ(a,b)⋅ψ(b,c)，其中ψ(a,b)\psi(a,b)ψ(a,b)相当于有向图中的p(a)⋅p(b∣a)p(a)\cdot p(b|a)p(a)⋅p(b∣a)，ψ(b,c)\psi(b,c)ψ(b,c)相当于有向图中的p(c∣b)p(c|b)p(c∣b)；

上图中有向图因式分解：p(a,b,c)=p(a)⋅p(b∣a)⋅p(c∣a)p(a,b,c)=p(a)\cdot p(b|a)\cdot p(c|a)p(a,b,c)=p(a)⋅p(b∣a)⋅p(c∣a)，转化后的无向图因子分解为：p(a,b,c)=ψ(a,b)⋅ψ(a,c)p(a,b,c)=\psi(a,b)\cdot \psi(a,c)p(a,b,c)=ψ(a,b)⋅ψ(a,c)，同理：ψ(a,b)\psi(a,b)ψ(a,b)近似p(a)⋅p(b∣a)p(a)\cdot p(b|a)p(a)⋅p(b∣a)，ψ(a,c)\psi(a,c)ψ(a,c)近似p(c∣a)p(c|a)p(c∣a)。

上图这种情况较为特殊，不仅仅将有向边替换成无向边还需要将父节点两两相连接，可以从有向图和无向图因子分解证明其合理性。

简单说明一下，例如上式为有向图因子分解，将p(a)⋅p(b)⋅p(c∣a,b)p(a)\cdot p(b)\cdot p(c|a,b)p(a)⋅p(b)⋅p(c∣a,b)用ψ\psiψ函数替换则合理的近似是p(a)⋅p(b)⋅p(c∣a,b)=ψ(a,b,c)p(a)\cdot p(b)\cdot p(c|a,b)=\psi(a,b,c)p(a)⋅p(b)⋅p(c∣a,b)=ψ(a,b,c)，则说明节点a,b,c是一个团，所以两两相连，符合转化后的结果。

参考视频资料：【机器学习】【白板推导系列】作者：shuhuai008

参考书籍资料：Pattern Recognition and Machine Learning 作者：Christopher Bishop

【机器学习系列】概率图模型第六讲：因子图和道德图相关推荐

#Apache Spark系列技术直播# 第六讲【 What's New in Apache Spark 2.4? 】
Apache Spark系列技术直播第六讲 [ What's New in Apache Spark 2.4? ] Abstract(简介): This talk will provide an ov ...
笔记 | 机器学习《概率图模型》，手推笔记已186页！
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散计算机视觉联盟笔记作者:王博Kings.Sophia 本文内容概述王博Kings<机器学习>手 ...
Stanford概率图模型：第一讲有向图-贝叶斯网络
原文链接(系列):http://blog.csdn.net/yangliuy/article/details/8067261 概率图模型(Probabilistic Graphical Model)系 ...
机器学习之概率图模型（贝叶斯概率，隐马尔科夫模型）
一.贝叶斯公式在学习概率图模型之前先要了解贝叶斯公式: 由公式(1),(2)可得: 这便是贝叶斯公式,其中条件概率P(A/B)称为后验概率,概率P(A),P(B)称为先验概率,条件概率P(B/A), ...
机器学习系列 | 线性回归模型（简单线性回归、局部线性回归、非线性关系）
1.什么是线性回归? 线性回归是试图在一堆数据中训练得到自变量x和因变量y中一组线性关系,如 y = w x + b y=wx+b y=wx+b.例如把人脚底板长度作为自变量,身高作为因变量,那么在这 ...
数学建模系列-优化模型（六）---模拟退火模型
模拟退火算法是基于一定概率跳出局部最优解的算法,我曾经写过这样一篇论文,现在把中心思想汇报下: 1.启发式算法: 启发式算法(Heuristic Algorithm)有两种定义: (1)基于直观或经验 ...
机器学习-白板推导-系列（九）笔记：概率图模型: 贝叶斯网络/马尔可夫随机场/推断/道德图/因子图
文章目录 0 笔记说明 1 背景介绍 1.1 概率公式 1.2 概率图简介 1.2.1 表示 1.2.2 推断 1.2.3 学习 1.2.4 决策 1.3 图 2 贝叶斯网络 2.1 条件独立性 2. ...
【采用】概率图模型在反欺诈的应用（无监督机器学习）
图模型的主要应用场景为欺诈侦测报警,从各个特征出现的频率对异常概率进行预警.概率图模型所涉及到的知识点非常广,所以对读者的基础知识要求也相对较高. 现在借助以下几个问题开始概率图模型的学习: 为什么需 ...
机器学习系列之EM算法
机器学习系列之EM算法我讲EM算法的大概流程主要三部分:需要的预备知识.EM算法详解和对EM算法的改进. 一.EM算法的预备知识 1.极大似然估计 (1)举例说明:经典问题--学生身高问题我们需要 ...
想了解概率图模型？你要先理解图论的基本定义与形式
图论一直是数学里十分重要的学科,其以图为研究对象,通常用来描述某些事物之间的某种特定关系.而在机器学习的世界里,我们希望从数据中挖掘出隐含信息或模型.因此,如果我们将图中的结点作为随机变量,连接作为相 ...

【机器学习系列】概率图模型第六讲：因子图和道德图

一、本文结论

二、因子图Factor Graph

三、Moral Graph道德图

【机器学习系列】概率图模型第六讲：因子图和道德图相关推荐

最新文章

热门文章