机器学习中的数学——结构化概率模型/图模型

机器学习的算法经常会涉及到在非常多的随机变量上的概率分布。通常，这些概率分布涉及到的直接相互作用都是介于非常少的变量之间的。使用单个函数来描述整个联合概率分布是非常低效的。

我们可以把概率分布分解成许多因子的乘积形式，而不是使用单一的函数来表示概率分布。例如，假设我们有三个随机变量aaa，bbb和ccc，并且aaa影响bbb的取值，bbb影响ccc的取值，但是aaa和ccc在给定bbb时是条件独立的。我们可以把全部三个变量的概率分布重新表示为两个变量的概率分布的连乘形式：
p(a.b.c)=p(a)p(b∣a)p(c∣b)p(a.b.c)=p(a)p(b|a)p(c|b)p(a.b.c)=p(a)p(b∣a)p(c∣b)

这种分解可以极大地减少用来描述一个分布的参数数量。每个因子使用的参数数目是它的变量数目的指数倍。这意味着，如果我们能够找到一种使每个因子分布具有更少变量的分解方法，我们就能极大地降低表示联合分布的成本。

我们可以用图来描述这种分解。这里我们使用的是图论中的“图”的概念：由些可以通过边互相连接的顶点的集合构成。当我们用图来表示这种概率分布的分解，我们把它称为结构化概率模型或者图模型。有两种主要的结构化概率模型：有向的和无向的。两种图模型都使用图G\mathscr{G}G，其中图的每个节点对应着一个随机变量，连接两个随机变量的边意味着概率分布可以表示成这两个随机变量之间的直接作用。

有向模型使用带有有向边的图，它们用条件概率分布来表示分解就像上面的例子。特别地，有向模型对于分布中的每一个随机变量xxx都包含着一个影响因子，这个组成xix_ixi条件概率的影响因子被称为xix_ixi的父节点，记为PaG(xi)Pa_{\mathscr{G}}(x_i)PaG(xi)：
p(x)=∏iP(xi∣PaG(xi))p(x)=\prod_i P(x_i|Pa_{\mathscr{G}}(x_i))p(x)=i∏P(xi∣PaG(xi))

下图给出的有向图的例子就可以分解为p(a,b,c,d,e)=p(a)p(b∣a)p(c∣a,b)p(d∣b)p(e∣c)p(a, b, c, d, e)=p(a)p(b|a)p(c|a,b)p(d|b)p(e|c)p(a,b,c,d,e)=p(a)p(b∣a)p(c∣a,b)p(d∣b)p(e∣c)：

无向模型使用带有无向边的图，它们将分解表示成一组函数；不像有向模型那样，这些函数通常不是任何类型的概率分布。G\mathscr{G}G中任何满足两两之间有边连接的顶点的集合被称为团。无向模型中的每个团C(i)C^{(i)}C(i)都伴随着一个因子ϕ(i)C(i)\phi^{(i)}C^{(i)}ϕ(i)C(i)。这些因子仅仅是函数，并不是概率分布。每个因子的输出都必须是非负的，但是并没有像概率分布中那样要求因子的和或者积分为1随机变量的联合概率与所有这些因子的乘积成比例——意味着因子的值越大则可能性越大。当然，不能保证这种乘积的求和为1.所以我们需要除以一个归一化常数ZZZ来得到归一化的概率分布，归一化常数ZZZ被定义为ϕ\phiϕ函数乘积的所有状态的求和或积分。概率分布为：
p(x)=1Z∏iϕ(i)C(i)p(x)=\frac{1}{Z}\prod_i\phi^{(i)}C^{(i)}p(x)=Z1i∏ϕ(i)C(i)

上图给出的无向图的例子即可分解为1Zϕ(1)(a,b,c)ϕ(2)(b,d)ϕ(3)(c,e)\frac{1}{Z}\phi^{(1)}(a, b, c)\phi^{(2)}(b, d)\phi^{(3)}(c, e)Z1ϕ(1)(a,b,c)ϕ(2)(b,d)ϕ(3)(c,e)。

这些图模型表示的分解仅仅是描述概率分布的一种语言。它们不是互相排斥的概率分布族。有向或者无向不是概率分布的特性；它是概率分布的一种特殊描述所具有的特性，而任何概率分布都可以用这两种方式进行描述

机器学习中的数学——结构化概率模型/图模型相关推荐

机器学习中的范数规则化之L0、L1、L2范数
我的博客中参考了大量的文章或者别的作者的博客,有时候疏忽了并未一一标注,本着分享交流知识的目的,如果侵犯您的权利,这并非我的本意,如果您提出来,我会及时改正. 本篇博客主要是为了解决机器学习中的过拟合 ...
机器学习中的数学（1）：MIT大牛写的综述
" 想要深入了解机器学习和深度学习背后的数学支撑?想要避免成为调包侠?想要做更前沿更基础的研究?不仅是 Import xxx as xx,这里是***"机器学习中的数学" ...
机器学习中的数学：一份新鲜出炉的热门草稿
来源:机器之心本文约1500字,建议阅读5分钟. 本文为你分享近日<Mathematics for Machine Learning>的全部草稿已放出,我们整理了这本书的简要概述. 近日 ...
我们该如何学习机器学习中的数学
数学在机器学习中非常重要,不论是在算法上理解模型代码,还是在工程上构建系统,数学都必不可少.通常离开学校后很难有机会静下心学习数学知识,因此我们最好能通过阅读小组或读书会等形式营造环境,并专注学习那些 ...
机器学习中的数学(二)--梯度下降法
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...
花书+吴恩达深度学习（二三）结构化概率模型（贝叶斯网络、马尔可夫随机场）
文章目录 0. 前言 1. 有向模型 2. 无向模型 3. 因子图 4. 分离和d-分离 5. 从图模型中采样如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 花书+吴恩达深 ...
机器学习中的数学原理——过拟合、正则化与惩罚函数
通过这篇博客,你将清晰的明白什么是过拟合.正则化.惩罚函数.这个专栏名为白话机器学习中数学学习笔记,主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎 ...
机器学习中的范数规则化之（一）L0、L1与L2范数
机器学习中的范数规则化之(一)L0.L1与L2范数 zouxy09@qq.com http://blog.csdn.net/zouxy09 参考资料:<机器学习中常常提到的正则化到底是什么意思? ...
机器学习里面的基函数_机器学习中的数学基函数与函数空间
机器学习中的数学基函数与函数空间 [机器学习中的数学]基函数与函数空间引言在学习线性回归模型的时候就会遇到基函数,可能我们会遇到多项式基函数.高斯基函数.sigmoid基函数,当然在高等数学和信号 ...
机器学习中的数学——常用概率分布（五）：高斯分布（Gaussian分布）/正态分布（Normal分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...

机器学习中的数学——结构化概率模型/图模型

机器学习中的数学——结构化概率模型/图模型相关推荐

最新文章

热门文章