传说中的Markov不过如此”

　　因为看一篇题为 Passive Measurement of Interference in WiFi Network with Application in Misbehavior Detection的文章，学习了马尔科夫模型。之前一直主观觉得马尔科夫模型太难，看过之后其实不过如此，恰恰相反，这个模型本身还简化了原本复杂的概率网络。《模式识别》对马尔科夫和隐马尔可夫介绍得非常详尽易懂。马尔科夫模型是一个非常useful的工具。

几个重要概念：

马尔可夫假设：在一个随着时间观测到的对象序列中，T时刻观测到某对象的概率只和T-1时观测到的对象有关系。

马尔科夫模型的表示：

　　S：状态转换图中的状态集合

　　A：状态转移概率矩阵，aij表示从状态i迁移到状态j的概率

　　B：bij表示在状态i上观测到对象vj的概率

　　p：初始状态上观测到各值的概率，是一个向量

马尔科夫的三个核心问题：

　　估值问题（evaluation）: 已知markov模型，和序列V，求观测到该序列的概率

　　解码问题（decoding）：已知模型和t时刻观测到的Vt，求最可能观测到的序列

　　学习问题（Learning）：已知状态集合S和观测序列V，求模型的各参数A，B，p

下面是evaluation代码（解码过程类似），前向算法

%% HMM model: A, B, initialstate, finalstate,
%state transition propability
A=[1    0   0   0; 0.2  0.3 0.1 0.4;0.2  0.5 0.2 0.1;0.8  0.1 0.0 0.1];
%b_jkv(t): v(t)'s occupation probability when the current state is w_j in time t
B=[1    0   0   0   0;0    0.3 0.4 0.1 0.2;0    0.1 0.1 0.7 0.1;0    0.5 0.2 0.1 0.2];final_state=1; %the final state
init_state=2; %the initial state%% observed sequence
V=[2,4,3,1]; %visable sequence, v1 is the empty visable symbol.
% # of states
c=size(A);
% # of time slots
T=length(V);%% HMM forward algorithm : for evaluation problem of HMM: give a HMM model, calculate P(V)
a=zeros(c, T);
for t=1:Tfor j=1:cif t==1a(j, t)=1*A(init_state, j)*B(j, V(t));elsesum=0;for i=1:csum=sum+a(i, t-1)*A(i, j);enda(j, t) = B(j, V(t))*sum;endend
end
a(1, T)

学习问题：在MATLAB中集成了hmmestimate等函数，可以完成各种问题的解决。

summary: markov其实大致分为两部分，一部分是理解状态图中的概率迁移，以及markov假设；一部分是具体实现，由于markov问题的高复杂度，才出现了前向、后向算法，而那些算法的目的只是在多项式复杂度内进行求解。

转载于:https://www.cnblogs.com/zhchngzng/p/3384282.html

传说中的Markov不过如此”相关推荐

更高的等级、更强的暴力
史玉柱给美女玩家发6000块工资,这只能说明网游产品很丰富.竞争很激烈,并且,美女这个卖点在网游世界里也是硬通币,跟大学校园里的舞会女生免票的招徕差不多. 史玉柱的这个营销策略,延续了他备受指责的利用 ...
也谈MCMC方法与Gibbs抽样
个人博客传送门:点击打开链接 MCMC,即传说中的Markov Chain Mento Carlo方法.其主要用于统计推理中进行模拟抽样,尤其在贝叶斯推理中有着非常广泛的应用.如算法模型的后验参数估计 ...
Probability, Matringale,Markov Chain, MCMC
一.基本知识 1. 条件概率条件概率是指在某件事情已经发生的前提下,另一件事情在此基础上发生的概率,举例来说P(A丨B)表示B发生的基础上,A也发生的概率,基本公式为: 2. 条件期望在上述概率下 ...
martingale、markov chain、Monte Carlo、MCMC
文章结构如下: 1: MCMC 1.1 MCMC是什么 1.2 为什么需要MCMC 2: 蒙特卡罗 2.1 引入 2.2 均匀分布,Box-Muller 变换 2.3 拒绝接受采样(Acceptanc ...
马尔可夫链（Markov Chain）是什么鬼
作者:红猴子链接:https://www.zhihu.com/question/26665048/answer/157852228 来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转 ...
一文搞懂马尔可夫链（Markov Chain）
它是随机过程中的一种过程,到底是哪一种过程呢?好像一两句话也说不清楚,还是先看个例子吧. 先说说我们村智商为0的王二狗,人傻不拉几的,见人就傻笑,每天中午12点的标配,仨状态:吃,玩,睡.这就是传说中 ...
[work]马尔可夫链（Markov Chain）是什么鬼
"随机过程随机过,实变函数学十遍,微机原理闹危机,汇编语言不会编" 1. 唯一让我彻底蒙圈的课程这些课程真的太难了,大学里无数人为此伤透了脑筋,挂科率杠杠的.我当初也是的,特别是 ...
马尔可夫链(Markov Chain)是什么？通俗易懂
马尔可夫链(Markov Chain) 马尔可夫链经常出现在机器学习的概念中,因为生活中很多情况都可以用马尔可夫链建模,我们先给出数学化的定义,然后再举个生活化的例子与数学公式相对应,就可以理解马尔可 ...
强化学习（三） - Gym库介绍和使用，Markov决策程序实例，动态规划决策实例
强化学习(三) - Gym库介绍和使用,Markov决策程序实例,动态规划决策实例 1. 引言在这个部分补充之前马尔科夫决策和动态规划部分的代码.在以后的内容我会把相关代码都附到相关内容的后面.本部 ...
强化学习（一）- 强化学习介绍、Markov决策过程和贝尔曼期望方程
强化学习(英语:Reinforcement learning,简称RL)是机器学习中的一个领域,强调如何基于环境而行动,以取得最大化的预期利益.其灵感来源于心理学中的行为主义理论,即有机体如何在环境给 ...

传说中的Markov不过如此”

传说中的Markov不过如此”相关推荐

最新文章

热门文章