MarkovModels马尔科夫模型读书笔记
前言
本来是想了解HMM模型（隐马尔科夫模型），但是HMM是建立在MarkovModels模型的基础上，这里就简单的介绍一下马尔科夫模型，其实类似翻译啦。参考UMDHMM
概念介绍
- 可观察状态（Observable states）：1,2…,N （例如天气的状态，sunny,rainy,cloudy，3中状态）
- 可观察状态序列（Observed sequence）
（PS：一般都是随时间而改变，例如day1 sunny,day2 cloudy, day3 sunny, day4 rainy）
q1, q2, … , qt, …, qT （t代表时间下标，也可以认为是序列下标） - 一阶马尔科夫假设（First order Markov assumption）
简单来说就是t时间状态为j的概率依赖前一时刻的概率。概率公式的含义就是1到t-1的可观察序列前提下
t时刻可观察状态为j的概率，等于t-1时刻可观察状态为i的前提下t时刻可观察状态为j的概率。 - 稳定性（Stationarity）
这里保证了状态转移的概率不随时间而改变。 - 状态转移概率矩阵
矩阵A为状态转移矩阵，含义aij表明t-1时刻可观察状态为i前提下t时刻可观察状态为j的概率。
从某个状态转换成其余状态的概率和为1，即矩阵的每一个行的概率和为1。
例子
这里简单解释，天气状态R,C,S。状态转移矩阵，你可以在行标和列表都加上R,C,S。
例如这里0.4可以认为昨天R今天R的概率为0.4，这里就可以解释为什么每一行的和为1。
昨天R今天的状态只可能是R,C,S。所以概率和为1。
解释了马尔科夫链的原理。但是其实这就是简单的一阶马尔科夫模型
根据上述的马尔科夫链，求解在SSRRSCS状态序列下的一个为S的概率。这里引出了需要一个状态的初始概率，比如你再深圳，深圳这个地方春季S的概率为0.6,R的概率为0.2,C的概率为0.2,这样就给出了一个初始概率，这个初始概率，可以是这个地区的平均天气状态概率分布。
MarkovModels马尔科夫模型读书笔记相关推荐
- 《Data Algorithm》读书笔记十一— 使用马尔科夫模型的智能邮件营销
<Data Algorithm>读书笔记十一 - 使用马尔科夫模型的智能邮件营销 1. 智能邮件营销 是什么? 根据顾客的交易历史观测(其实就是推测) "下一个智能邮件营销日期& ...
- 机器学习笔记 增强学习与马尔科夫模型（1）
本文根据博客以及课堂老师讲授内容整理而来. 吐槽: 继上周介绍了Minimax和Expectimax后,外教这周又给我们介绍了马尔科夫模型,上周兴高采烈的感觉对Optimal Policy有点理解了但 ...
- 隐马尔科夫模型（HMM）笔记（公式+代码）
文章目录 1. 基本概念 1.1 HMM模型定义 1.2 盒子和球模型 1.3 观测序列生成过程 1.4 HMM模型3个基本问题 2. 概率计算问题 2.1 直接计算法 2.2 前向算法 2.2.1 ...
- 机器学习笔记（十三）——隐马尔科夫模型
一.隐马尔科夫模型 在马尔科夫模型中,每一个状态代表了一个可以观察的事件,所以,马尔科夫模型有时称为可视马尔科夫模型(visible Markov model,VMM),这在某种程度上限制了模型的适应 ...
- 机器学习笔记（十二）——马尔科夫模型
马尔科夫模型是一种概率图模型,它描述了一类重要的随机过程(随机过程又称为随机函数,是随时间而随机变化的过程).我们常常需要考察一个随机变量序列,这些随机变量序列并不是相互独立的,每个随机变量的值都依赖 ...
- 概率图模型笔记（二） 隐马尔科夫模型（Hidden Markov Model）
写在前面 隐马尔科夫模型(Hidden Markov Model,以下简称HMM)是比较经典的机器学习模型了,它在语言识别,自然语言处理,模式识别等领域得到广泛的应用.最近入坑NLP,看到好多算法都涉 ...
- python做马尔科夫模型预测法_python 日常笔记 hmmlearn 隐性马尔科夫模型案例分析...
问题: 什么是马尔科夫模型?用来干什么? 大家可以参考这篇简书 python 实现 关于HMM有两个主要问题: 已知上述三个参数,和当前观测序列,求解隐藏状态的变化 所有参数未知,只有数据,如何获得三 ...
- 学习笔记四：HMM（隐马尔科夫模型）
第四章 HMM 1.隐马尔科夫模型的基本概念 引入 例子:天气和冰激凌问题 想象你是2799年的气候学家,正在研究全球变暖的历史 你无法找到任何关于北京2020年夏天的天气记录 但你找到了小米的日记本 ...
- HMM学习笔记2 隐马尔科夫模型与前向算法
一 序 本系列文章摘自 52nlp(我爱自然语言处理: http://www.52nlp.cn/),原文链接在 HMM 学习最佳范例,有大佬做了二次整理,参见:https://blog.csdn.ne ...
最新文章
- 计算机网络分类（按覆盖范围分类）“名称、范围”
- java笔试之字符串反转
- 可能是堆被损坏，这也说明 XX.exe 中或它所加载的任何 DLL 中有 bug
- Tool之Bazel：Bazel的简介、安装、使用方法之详细攻略
- 真静态和伪静态的区别
- 抽屉远离在计算机的应用,抽屉原理的应用及其推广优秀毕业论文
- MoveNet 姿态估计，树莓派上也能跑！
- MFC工作笔记0011---atoi的用法
- C#编程（二十五）----------接口
- 青岛职业技术学院计算机专业宿舍,青岛职业技术学院宿舍条件,宿舍图片和环境空调及分配方法...
- Java实现快速查找（又名二分查找）
- 计算机主机无法开机故障原因,电脑电源保护无法开机怎么办
- 解决Chrome账户无法同步
- RSA加密中PEM、DER的编解码问题
- Pidgin for windows 与MSN、ICQ、QQ、YAHOO、GoogleTalk、AIM/AOL等网络聊天工具互联互通的新型聊天软件
- 【Android】app应用内版本更新升级（DownloadManager下载，适配Android6.0以上所有版本）
- 公司福利直接影响员工的身心健康
- Python爬取整个网页的数据
- Catalan 数之Python演示
- pytorch model.to(device) 加载模型特别慢