概率图模型

14.1 隐马尔科夫模型

机器学习最重要的任务：根据一些已观察到的证据（例如训练样本）来对感兴趣的未知变量（例如类别标记）进行估计和预测。

probabilistic model概率模型将学习任务归结于计算变量的概率分布，在概率模型中，利用已知变量推测未知变量的分布称为“推断（inference）”，其核心是如何基于可观测变量推测出未知变量的条件分布。

probabilistic graphical model是一类用图来表达变量相关关系的概率模型。图上的每个结点表示一个或一组随机变量，结点之间的边表示变量间的概率相关关系，即“变量关系图”。根据边的性质不同，probabilistic graphical model可分为两类：1.有向无环图，或称为有向图模型或贝叶斯网（bayesian network）；2.无向图，又称为无向图模型或马尔科夫网（markov network）。

Hidden Markov Model 隐马尔科夫模型是结构最简单的动态bayesian network。

Markov Chain：系统下一时刻的状态仅由当前状态决定，不依赖于以往的任何状态。

14.2 马尔科夫随机场

Markov Random Field，MRF 马尔科夫随机场是典型的马尔科夫网。markov random field有一组势函数protential functions，亦称因子factor。

局部马尔科夫性（local markov property）：给定某变量的邻接变量，则该变量条件独立于其他变量。

成对马尔科夫性（pairwise markov property）：给定所有其他变量，两个非邻接变量条件独立。

14.3 条件随机场

Conditional Random Field，CRF是一种判别式无向图模型，是对条件分布进行建模。

条件随机场试图对多个变量在给定观测值后的条件概率进行建模。

14.4 学习与推断

概率图模型的推断方法大致有两类：1类是精确推断方法，希望能计算出目标变量的边际分布或条件分布的精确值；2类是近似推断方法，希望在较低时间复杂度下获得原问题的近似解。

14.5 近似推断

近似推断方法大致可分为两类，一类是sampling，通过使用随机化方法完成近似；一类是使用确定性近似完成近似推断，典型代表为变分推断（variational inference）。

概率图模型最常用的采样技术就是马尔科夫链蒙特卡洛方法（MCMC）。

变分推断通过使用已知简单分布来逼近需推断的复杂分布，并通过限制近似分布的类型，从而得到一种局部最优、但具有确定解的近似后验分布。

14.6 话题模型

topic model是一族生成式有向图模型，主要用于处理离散型的数据（如文本集合）。

机器学习第14章（概率图模型）相关推荐

（《机器学习》完整版系列）第14章概率图模型——14.11 趣谈话题模型（隐狄利克雷分配模型LDA）
提示: 隐狄利克雷分配模型(LDA,注:同一缩写LDA,在3.3 线性判别分析LDA等处表示线性判别分析LDA,注意区别)是话题模型的代表,研究它挺有趣的,也能破除神秘感(这类机器学习写文章不是根据意 ...
机器学习(周志华) 参考答案第十四章概率图模型 14.9
机器学习(周志华西瓜书) 参考答案总目录 http://blog.csdn.net/icefire_tyh/article/details/52064910 机器学习(周志华) 参考答案第十四章 ...
机器学习（周志华）第十四章概率图模型
关于周志华老师的<机器学习>这本书的学习笔记记录学习过程本博客记录Chapter14 文章目录 1 隐马尔可夫模型 2 马尔可夫随机场 3 条件随机场 4 学习与推断 5 近似推断 6 ...
《机器学习》周志华学习笔记第十四章概率图模型（课后习题）python实现
一.基本内容 1.隐马尔可夫模型 1.1. 假定所有关心的变量集合为Y,可观测变量集合为O,其他变量集合为R, 生成式模型考虑联合分布P(Y,R,O),判别式模型考虑条件分布P(Y,R|O),给定一组 ...
机器学习（第二章）—— 模型评估
目录一.评估指标的局限性二.ROC曲线三.余弦距离的应用四.A/B测试的陷阱五.模型的评估方法六.超参数优化七.过拟合与欠拟合准确率的局限性精确率与召回率的权衡平方根误差的&quo ...
《机器学习》 —— 第二章：模型评估与选择学习笔记
2.1 经验误差与过拟合把分类错误的样本数占样本总数的比例称为"错误率"(error rate),即如果在m个样本中有a个样本分类错误,则错误率E=a/m:相应的,1-a/m称为 ...
《人工智能》机器学习 - 第6章感知机模型（一理论讲解）
6.1引言 PLA全称是Perceptron Linear Algorithm,即线性感知机算法,属于一种最简单的感知机(Perceptron)模型.感知机(perceptron)是二分类的线性分类模 ...
[机器学习]概率图模型
本文档记录了<机器学习>第 14 章概率图模型相关内容概率图模型模型有向图/无向图判别式/生成式逻辑回归无向图判别式朴素贝叶斯有向图生成式 HMM 有向图生成式马尔 ...
【经典书】概率图模型：原理与技术
来源:专知本文为书籍,建议阅读5分钟概率图模型将概率论与图论相结合,是当前非常热门的一个机器学习研究方向. 概率图模型将概率论与图论相结合,是当前非常热门的一个机器学习研究方向.<概率图模型: ...

机器学习第14章（概率图模型）