[ML]（HMM、MRF、CRF）
文章目录
- HMM
- 马尔科夫模型的例子
- 隐马尔可夫模型
- 五元组
- HMM的两个假设
- HMM例子
- HMM的3类问题
- HMM中的前向算法和后向算法
- HMM 之 维特比算法 Viterbi
- HMM 之 baum-welch算法
- 马尔科夫随机场
- 概率图引入
- MRF定义
- MRF简单例子
- 局部势函数和边缘概率的关系
- 应用举例
- CRF
- CRF在NLP中的应用
- CRF对语义分割模型改进
HMM
课程资源：
链接：https://pan.baidu.com/s/1A5362fUoHn_BQNzBfajgUQ
提取码：gb96
马尔科夫模型的例子
一个例子：
概率转换图：
状态链是一个可观测到的马尔科夫链
另一个例子：
用今日的天气推断明天的天气，用明天的天气推断后天天气
上面的例子可以用马尔科夫模型描述
隐马尔可夫模型
水藻和天气是有关系的
也就是说，我们想知道的东西不能直接观测到，而是根据另一种我们可见的这种观测的东西去推算，可以用隐马尔可夫模型表示
五元组
一般用五元组描述HMM
O:水藻的状态 I:天气的状态
HMM的两个假设
假设1：未来与过去无关，只与现在有关
假设2：t时刻的观测只与t时刻的状态有关
HMM例子
HMM的3类问题
HMM中的前向算法和后向算法
（前向算法：上一次计算结果带入到下一次）
前向算法考虑的是从前一个时刻到t-1,后向算法考虑从t+1时刻到最终时刻
后向算法：
HMM 之 维特比算法 Viterbi
start->end最优的路径
HMM 之 baum-welch算法
有监督：
这个时候可以用极大似然法来估计
无监督：
EM算法
马尔科夫随机场
概率图引入
边的参数指的是相邻像素点之间的取值具有连续性（概率）
节点上的定义：去噪前后的像素点取值是接近的
MRF定义
归一化因子使得概率相加为1
MRF简单例子
引入节点势函数：
A取a0,B取b0的可能性是30（未归一化）
局部势函数和边缘概率的关系
局部势函数只考虑局部（比如AB），边缘概率是对联合概率分布做边缘化（不光考虑AB，还考虑了CD的影响）
应用举例
图像分割：
theta_pq（边的势函数）的含义：同为0或同为1的时候惩罚性为0，否则为2.5，表示相邻像素点之间有连续性
节点势函数：前景趋向于取0，后景趋向于1
图像去噪：
边的势函数：假设去噪后的图像，像素之间有相似性
节点势函数：去噪后和去噪前的势函数之间像素值没有剧烈变化
截断是为了保留边缘特征 ，对于边缘不加过大的处罚
CRF
CRF在NLP中的应用
回顾HMM：
NLP中用链状，CV中用网格状
总结：
EM算法、HMM、CRF是什么：
这三个放在一起不是很恰当，但是有互相有关联，所以就放在这里一起说了。注意重点关注算法的思想。
（1）EM算法
EM算法是用于含有隐变量模型的极大似然估计或者极大后验估计，有两步组成：E步，求期望（expectation）；M步，求极大（maxmization）。本质上EM算法还是一个迭代算法，通过不断用上一代参数对隐变量的估计来对当前变量进行计算，直到收敛。
注意：EM算法是对初值敏感的，而且EM是不断求解下界的极大化逼近求解对数似然函数的极大化的算法，也就是说EM算法不能保证找到全局最优值。对于EM的导出方法也应该掌握。
（2）HMM算法
隐马尔可夫模型是用于标注问题的生成模型。有几个参数（π，A，B）：初始状态概率向量π，状态转移矩阵A，观测概率矩阵B。称为马尔科夫模型的三要素。
马尔科夫三个基本问题：
概率计算问题：给定模型和观测序列，计算模型下观测序列输出的概率。–》前向后向算法
学习问题：已知观测序列，估计模型参数，即用极大似然估计来估计参数。–》Baum-Welch(也就是EM算法)和极大似然估计。
预测问题：已知模型和观测序列，求解对应的状态序列。–》近似算法（贪心算法）和维特比算法（动态规划求最优路径）
（3）条件随机场CRF
给定一组输入随机变量的条件下另一组输出随机变量的条件概率分布密度。条件随机场假设输出变量构成马尔科夫随机场，而我们平时看到的大多是线性链条随机场，也就是由输入对输出进行预测的判别模型。求解方法为极大似然估计或正则化的极大似然估计。
之所以总把HMM和CRF进行比较，主要是因为CRF和HMM都利用了图的知识，但是CRF利用的是马尔科夫随机场（无向图），而HMM的基础是贝叶斯网络（有向图）。而且CRF也有：概率计算问题、学习问题和预测问题。大致计算方法和HMM类似，只不过不需要EM算法进行学习问题。
（4）HMM和CRF对比
其根本还是在于基本的理念不同，一个是生成模型，一个是判别模型，这也就导致了求解方式的不同。
CRF对语义分割模型改进
分割是有空间上是有关系的，相邻箱数之间是有关系的，有一些目标有先验知识：比如飞机和天空同时出现，船和水面同时出现，这些信息在标准的CNN模型中并没有用到。
CRF利用像素之间的关系，适合获得精确的边缘
[ML]（HMM、MRF、CRF）相关推荐
- 深入理解机器学习——概率图模型（Probabilistic Graphical Model）：条件随机场（Conditional Random Field，CRF）
分类目录:<深入理解机器学习>总目录 条件随机场(Conditional Random Field,CRF)是一种判别式无向图模型,在<概率图模型(Probabilistic Gra ...
- 机器学习基础（七）：概率图模型（HMM、MRF、CRF、话题模型、推断方法）
7.概率图模型 概率模型probabilistic model:提供一种描述框架,将学习任务归结于计算变量的概率分布,核心是如何基于可观测变量推测出未知变量的条件分布 → ①生成式generative ...
- 概率图模型家族（HMM、MaxEnt、MEMM和CRF）
目录 概率图(Probabilistic Graphical) 有向概率图 无向概率图 隐马尔科夫模型(HMM) 最大熵模型(MaxEnt)
- PaddlePaddle︱开发文档中学习情感分类（CNN、LSTM、双向LSTM）、语义角色标注
PaddlePaddle出教程啦,教程一部分写的很详细,值得学习. 一期涉及新手入门.识别数字.图像分类.词向量.情感分析.语义角色标注.机器翻译.个性化推荐. 二期会有更多的图像内容. 随便,帮国产 ...
- 机器学习中的隐马尔科夫模型（HMM）详解
前导性推荐阅读资料: 从朴素贝叶斯分类器到贝叶斯网络(上) 从朴素贝叶斯分类器到贝叶斯网络(下) 欢迎关注白马负金羁的博客 http://blog.csdn.net/baimafujinji,为保证公 ...
- 情感分类模型介绍CNN、RNN、LSTM、栈式双向LSTM
情感分类模型介绍CNN.RNN.LSTM.栈式双向LSTM 1.文本卷积神经网络(CNN) 卷积神经网络经常用来处理具有类似网格拓扑结构(grid-like topology)的数据.例如,图像可以视 ...
- Recorder︱图像语义分割（FCN、CRF、MRF）、论文延伸（Pixel Objectness、）
图像语义分割的意思就是机器自动分割并识别出图像中的内容,我的理解是抠图- 之前在Faster R-CNN中借用了RPN(region proposal network)选择候选框,但是仅仅是候选框,那 ...
- matlab 图像语义分割,笔记︱图像语义分割（FCN、CRF、MRF）、论文延伸（Pixel Objectness、）...
图像语义分割的意思就是机器自动分割并识别出图像中的内容,我的理解是抠图- 之前在Faster R-CNN中借用了RPN(region proposal network)选择候选框,但是仅仅是候选框,那 ...
- 五一干货资料整理，在学习上的劳动才是最好的劳动！ （包括：ML、DL、RL、Paper、NLP、CV、KG等）...
来自 Datawhale [导读] 本文由知名开源平台,AI技术平台以及领域专家:Datawhale,ApacheCN,AI有道和黄海广博士联合整理贡献,内容涵盖AI入门基础知识.数据分析\挖掘.机器 ...
最新文章
- Linux 安装iostat命令
- python-如何解决python执行pip install 命令的时候出现 File“＜stdin＞“,line 1 pip install XXX的问题
- widnows命令行常用命令使用 和 windows创建文件，写内容到文件
- 操作系统原理 ： 非连续的内存分配，分段，页表
- LintCode刷起来（一）
- php 数据集转换树、递归重组节点信息多维数组（转）
- hash表与系统顺序寻址
- 第三次学JAVA再学不好就吃翔(part64)--自动装箱和自动拆箱
- 大地win11 32位旗舰版镜像v2021.08
- Java只用一个循环语句输出九九乘法表
- 报告：2020年NFT总市值达5200万美元
- nagios 监控内存和CPU，磁盘等使用情况
- el-dialog 圆角 白边问题
- Log4j for C++ 实用指南
- 母亲节板报图片计算机方案,母亲节电子手抄报图片大全
- 秒杀Excel的动态可视化报表，不用学python，用它仅需10分钟
- 2023年电工杯数学建模B题 人工智能对大学生学习影响的评价 具体建模过程 代码以及思路
- 工程流体力学笔记暂记18(二元漩涡的速度和压强分布)
- 链化未来共识协议详解（下）
- count() over()开窗函数用法