作者：CHEONG

公众号：AI机器学习与知识图谱

研究方向：自然语言处理与知识图谱

前言： 文中含有大量公式，若需获取本文全部的手书版原稿资料，扫码关注公众号【AI机器学习与知识图谱】，回复: 概率图模型第一讲即可获取。可添加微信号【17865190919】进公众号讨论群，加好友时备注来自CSDN。原创不易，转载请告知并注明出处！

让我们进入正文。本文将从从概率和图两个角度先来理解一下概率图模型。

一、概率角度

首先从概率的角度看，概率问题关注什么？随机变量x服从何种概率分布，对于高维随机变量p(x1,x2,...,xp)p(x_1, x_2, ..., x_p)p(x1,x2,...,xp)，如何求边缘概率分布p(xi)p(x_i)p(xi)和条件概率分布p(xj∣xi)p(x_j|x_i)p(xj∣xi)，使用两个基本法则是：

1、加法法则：

2、乘法法则：

概率中的运算都是基于上述两个简单的加法法则和乘法法则，由其衍生出来的两个重要的法则分别是：

1、链式法则：

2、贝叶斯法则：

但高维随机变量问题存在的困境是：维度高，计算复杂，p(x1,x2,...,xp)p(x_1, x_2, ..., x_p)p(x1,x2,...,xp)计算量太大，因此有以下三种简化方式，简化强度分别由强到弱为：相互独立假设、一阶马尔科夫假设和条件独立性假设。

1、相互独立假设：以朴素贝叶斯模型为代表，计算公式为：

2、一阶马尔科夫假设：即HMM模型中的齐次马尔科夫假设，放宽了相互独立假设条件，即随机变量xix_ixi 只和xi−1x_{i-1}xi−1有关，和其他随机变量都不相关，公式表示为：

3、条件独立性假设：又放宽了一阶马尔科夫假设，计算公式为：

xA,xB,xCx_A,x_B,x_CxA,xB,xC都是集合且不相交，含义是在给定集合xCx_CxC情况下，集合xAx_AxA和集合xBx_BxB相互独立。

注意： 条件独立性假设在图中有明显体现，在概率图中可以很清晰的判断出随机变量之间的条件独立性，不需要通过计算得出，相对于传统概率计算来说是概率图的一大优势所在。

二、图角度

从图的角度，分为图的表示Representation，推断Inference和学习Learning三个方面。

1、在Representation方面：图可分为有向图和无向图，有向图经典模型即贝叶斯网络，无向图经典模型即马尔科夫网络。这里提一个常用重要的概率图即高斯图，高斯和有向和无向概念结合又可分为高斯贝叶斯网络和高斯马尔科夫网络。

2、在Graph Inference方面：首先明白推断的含义是在给定已知数据情况下，求某些数据概率分布是什么。图的推断方法可分为精确推断和近似推断，近似推断又可分为确定性近似推断如变分推断和随机近似推断如MCMC。

3、在Graph Learning方面：图学习可分为两种：参数学习和结构学习，参数学习又分完备数据和隐变量两种，完备数据即不含有隐变量，隐变量学习一般用EM算法求解。结构学习即给定了数据前提下学习那种图结构更符合当前数据，再学习参数。

接下来章节将依次介绍有向图的因子分解和条件独立性，无向图的因子分解和条件独立性。

参考视频资料：【机器学习】【白板推导系列】作者：shuhuai008

【机器学习系列】概率图模型第一讲：从概率和图的角度理解概率图模型相关推荐

WebMatrix网站开发系列教程：第一讲 WebMatrix入门经典
第一讲:新手想要学习网站开发,让我们从WebMatrix开始吧! WebMatrix新手学习网站开发的首选!网站开发老鸟更新自身知识体系的最佳时机! WebMatrix简要介绍: 微软WebMatri ...
基于PL角度理解BSM模型
大多数统计学家使用连续时间金融模型来捕获不同的统计属性的潜在资产价格然而,多数从业者并不使用模型来预测资产价格的变动,而是将其作为衍生品投资组合的损益(P&L)的会计工具来进行风险对冲也就 ...
机器学习之概率图模型（贝叶斯概率，隐马尔科夫模型）
一.贝叶斯公式在学习概率图模型之前先要了解贝叶斯公式: 由公式(1),(2)可得: 这便是贝叶斯公式,其中条件概率P(A/B)称为后验概率,概率P(A),P(B)称为先验概率,条件概率P(B/A), ...
机器学习系列文章——算法的实现（knn，朴素贝叶斯，决策树，模型评估）
一.机器学习算法分类: 机器学习算法可分为两大类,即分类与回归.其中分类是针对离散型数据,比如判定一直动物是猫是狗,判断一个人的信用等级:而回归问题为针对连续型数据,如预测淘宝店铺销量,预测明天气温等 ...
vuex与全局变量区别_挑战全网最幽默的Vuex系列教程：第一讲 Vuex到底是什么鬼
先说两句官方已经有教程了,为什么还要写这个教程呢?说实话,还真不是我闲着蛋疼,官方的教程真的是太官方了,对于刚入门 Vuex 的童鞋来说,想必看官方的教程,很多地方就如同看圣经一样,比如「欧玛尼玛尼 ...
挑战全网最幽默的Vuex系列教程：第一讲 Vuex到底是什么鬼
先说两句官方已经有教程了,为什么还要写这个教程呢?说实话,还真不是我闲着蛋疼,官方的教程真的是太官方了,对于刚入门 Vuex 的童鞋来说,想必看官方的教程,很多地方就如同看圣经一样,比如「欧玛尼玛尼 ...
漫画：二分法系列篇（第一讲）
今天是小浩算法"365刷题计划"第66天.暂定接下来讲解的几个topic为:二分法(以常考题目为主).回溯法(大部分是中等以上难度题型).分治法(以思想掌握为主).动态规划(以2维 ...
机器学习斯坦福公开课第一讲
学习机器学习的前提条件是计算机科学的基础知识和基本技能和原理.数据结构.基本概率知识.机器学习:无监督学习和监督学习监督学习依靠人为定义,给予特征值和结果无监督学习提供数据让机器自己区分找到特征集群
半波对称振子方向图_第一讲天线的方向图(下).pdf
51 <天线原理与设计>讲稿王建 1.5.1 二元天线阵二元天线阵是由两个同类型, 同尺寸的天线组成.我们以点来表示这两个天线单元,单元间距为d , 两单元激励电流分别为I 0 和I ...

【机器学习系列】概率图模型第一讲：从概率和图的角度理解概率图模型

一、概率角度

二、图角度

【机器学习系列】概率图模型第一讲：从概率和图的角度理解概率图模型相关推荐

最新文章

热门文章