0. 前言

概率图模型是一类用图来表达变量相关关系的概率模型。图中的节点代表变量，图中的边代表变量之间存在某种联系。

马尔可夫随机场（Markov Random Field）是著名的无向图模型。

马尔可夫链：系统下一时刻的状态仅由当前状态决定，不依赖于以往任何状态。

1. 马尔可夫随机场结构

马尔可夫随机场联合概率分布定义为：
P(x)=1Z∗∏Q∈C∗ψQ(xQ)P(x)=\frac{1}{Z^*}\prod_{Q\in C^*}\psi_Q(x_Q) P(x)=Z∗1Q∈C∗∏ψQ(xQ)
其中，C∗C^*C∗是极大团集合，任意两节点都有边连接称为“团”，一个团中加入任意的节点都不再形成团称为“极大团”，ψQ\psi_QψQ是团QQQ的势函数，Z∗=∑x∏Q∈C∗ψQ(xQ)Z^*=\sum_x\prod_{Q\in C^*}\psi_Q(x_Q)Z∗=∑x∏Q∈C∗ψQ(xQ)是规范化因子。

结构如下图所示（图源：机器学习）：

分离集：节点集A中的节点到节点集B中的节点，都需要经过节点集C，那么C称为分离集，A和B被C分离。

全局马尔可夫性：给定两个变量子集的分离集，则这两个变量子集条件独立
局部马尔可夫性：给定某变量的邻接变量，则该变量条件独立于其他变量
成对马尔可夫性：给定所有其他变量，两个非邻接变量条件独立

势函数常用指数函数定义：
ψQ(xQ)=e−HQ(xQ)\psi_Q(x_Q)=e^{-H_Q(x_Q)} ψQ(xQ)=e−HQ(xQ)

2. 近似推断

利用已知变量推断未知变量的分布称为“推断”，其核心是基于可观测变量推测出未知变量的条件分布。

MCMC先设法构造一条马尔可夫链，收敛至平稳分布恰为待估计参数的后验分布，然后基于这个马尔可夫链产生样本进行估计。

MCMC方法的关键在于构造平稳分布p的马尔可夫链来产生样本，若马尔可夫链运行时间足够长，那么产出的样本近似服从于分布p。

2.1. Metropolis-Hastings

Metropolis-Hastings是MCMC方法之一，基于拒绝采样来逼近平稳分布。

算法如下图所示（图源：机器学习）：

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

西瓜书+实战+吴恩达机器学习（二二）概率图模型之马尔可夫随机场相关推荐

西瓜书+实战+吴恩达机器学习（二）机器学习基础（偏差、方差、调试模型技巧）
文章目录 0. 前言 1. 偏差方差的解决方法 2. 高偏差高方差的学习曲线 3. 调试模型技巧如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言泛化误差可分解为 ...
西瓜书+实战+吴恩达机器学习（二一）概率图模型之贝叶斯网络
文章目录 0. 前言 1. 贝叶斯网络结构 2. 近似推断 2.1. 吉布斯采样 3. 隐马尔可夫模型HMM 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言概率 ...
西瓜书+实战+吴恩达机器学习（二十）随机算法（拉斯维加斯方法、蒙特卡罗方法）
文章目录 0. 前言 1. 拉斯维加斯方法 2. 蒙特卡罗方法如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言随机算法主要分为两种类型: 拉斯维加斯方法:采样次 ...
西瓜书+实战+吴恩达机器学习（十二）监督学习之AdaBoost
文章目录 0. 前言 1. AdaBoost算法如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言 Boosting:先训练一个基学习器,然后根据学习器的表现对样本 ...
西瓜书+实战+吴恩达机器学习（十五）无监督学习之关联分析（Apriori, FP-growth）
文章目录 0. 前言 1. Apriori算法 1.1. 寻找频繁项集 1.2. 挖掘关联规则 2. FP-growth算法 2.1. 构建FP树 2.2. 寻找频繁项集如果这篇文章对你有一点小小的 ...
西瓜书+实战+吴恩达机器学习（十四）无监督学习之聚类（k-means, LVQ, 高斯混合聚类, DBSCAN, AGNES）
文章目录 0. 前言 1. 性能度量 1.1. 外部指标 1.2. 内部指标 2. 距离计算 3. k-means算法 4. 学习向量量化 5. 高斯混合聚类 6. 密度聚类 DBSCAN 7. 层次 ...
西瓜书+实战+吴恩达机器学习（三）机器学习基础（多分类、类别不平衡）
文章目录 0. 前言 1. 多分类学习 2. 类别不平衡如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言本篇介绍机器学习中的多分类和类别不平衡问题. 1. 多分 ...
西瓜书+实战+吴恩达机器学习（十九）特征选择（过滤式选择、包裹式选择）
文章目录 0. 前言 1. 过滤式选择 2. 包裹式选择如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言特征选择是一个很重要的数据预处理过程: 选择出重要的特征 ...
西瓜书+实战+吴恩达机器学习（十八）降维（主成分分析 PCA）
文章目录 0. 前言 1. 主成分分析PCA 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言维数灾难:在高维情形下出现的数据样本稀疏.距离计算困难等问题. 缓解 ...

西瓜书+实战+吴恩达机器学习（二二）概率图模型之马尔可夫随机场

文章目录

0. 前言

1. 马尔可夫随机场结构

2. 近似推断

2.1. Metropolis-Hastings

西瓜书+实战+吴恩达机器学习（二二）概率图模型之马尔可夫随机场相关推荐

最新文章

热门文章