1.定义

一个可数的离散状态集合SSS,对任意i0,i1,...,in∈Si_0,i_1,...,i_n\in Si0,i1,...,in∈S,若其在n+1n+1n+1时刻的状态和之前状态的关系是P(Xn+1=in+1∣X0=i0,X1=i1,...,Xn=in)=P(Xn+1=in+1∣Xn=in),P(X_{n+1}=i_{n+1}|X_0=i_0,X_1=i_1,...,X_n=i_n)=P(X_{n+1}=i_{n+1}|X_n=i_n),P(Xn+1=in+1∣X0=i0,X1=i1,...,Xn=in)=P(Xn+1=in+1∣Xn=in),那么我们说状态之间的转移关系随机过程X是离散时间马尔科夫链。
进一步解释就是说，下一状态只和当前状态有关，和之前的状态无关。

2.表示

pij(n)=P(Xn+1=j∣Xn=i),p_{ij}(n)=P(X_{n+1}=j|X_n=i),pij(n)=P(Xn+1=j∣Xn=i),一步转移概率
pijk(n)=P(Xn+k=j∣Xn=i),p_{ij}^k(n)=P(X_{n+k}=j|X_n=i),pijk(n)=P(Xn+k=j∣Xn=i),k步转移概率
pij(n)=pij(n+1)=pij(n+2)=⋯,p_{ij}(n)=p_{ij}(n+1)=p_{ij}(n+2)=\cdots,pij(n)=pij(n+1)=pij(n+2)=⋯,齐次马氏链，转移概率不随时间发生变化
转移矩阵
设状态为{0,1},\{0,1\},{0,1},从0转移到1的概率为p，从1转移到0的概率为q,那么可以得到矩阵
[p1−pq1−q]\left[\begin{matrix}p&1-p\\q&1-q \end{matrix}\right][pq1−p1−q]其中行代表当前状态，列代表下一时刻状态

3.例题

3.1例一

求其一步转移概率矩阵。
解：设第i个个体产生的后代数为ξi，\xi_{i}，ξi，那么我们可以得到P(ξi=k)=pkP(\xi_i=k)=p_kP(ξi=k)=pk一步转移概率为pXnXn+1(n)=P(ξ1+ξ2+⋯+ξn=Xn+1)p_{X_nX_{n+1}}(n)=P(\xi_1+\xi_2+\cdots+\xi_n=X_{n+1})pXnXn+1(n)=P(ξ1+ξ2+⋯+ξn=Xn+1)

3.2例二

证明：

6.1离散时间马尔科夫链相关推荐

用马尔科夫链求首达时的一种方法--意料之外，情理之中
一. 定义马尔科夫链:已知若干种状态,从当前状态转移到下一状态的概率,只取决于当前和上一步的状态,与其他状态无关. 首达时:从某状态i出发,首次到达状态j时经历的时间. 二. 假设条件已知共有k个 ...
马尔科夫链和马尔科夫链蒙特卡洛方法
前言译自:<Training Restricted Boltzmann Machines: An Introduction > 马尔科夫链在RBM的训练中占据重要地位,因为它提供了从复杂 ...
机器学习算法 10 —— HMM模型(马尔科夫链、前向后向算法、维特比算法解码、hmmlearn)
文章目录系列文章隐马尔科夫模型 HMM 1 马尔科夫链 1.1 简介 1.2 经典举例 2 HMM简介 2.1 简单案例 2.2 案例进阶问题二解决问题一解决问题三解决 3 HMM模型基础 ...
15、条件概率、全概率公式、贝叶斯公式、马尔科夫链
条件概率定义:设A.B是两个事件,且,P(A) > 0 则称为事件A发生的条件下事件B的条件概率对这个式子进行变形,即可得到概率的乘法公式: P(A) > 0 时,则 P(B) &g ...
【ML算法】马尔科夫链
文档介绍:https://download.csdn.net/download/liudongdong19/10420151 一.马尔可夫链 1.马尔可夫链设XtXt表示随机变量XX在离散时间tt时 ...
马尔科夫链（Markov Chain）
1,马尔可夫性马尔可夫性(Markov Property)是指系统的下一个状态仅与当前状态有关,而与以前的状态无关 (即无记忆性(memorylessness),系统不记得当前状态以前的状态,仅仅基 ...
python：马尔科夫链
参考学习网址:MCMC(二)马尔科夫链 - 刘建平Pinard - 博客园 (cnblogs.com) 目录一.什么是马尔科夫链 1.介绍 2.基本概念 3.马尔科夫链模型分析二.马尔科夫链模型状 ...
结对编程-马尔科夫链作业成绩
结对编程-马尔科夫链作业成绩作业博客:http://www.cnblogs.com/vertextao/p/6881960.html 问题本次作业仅有三位同学按时提交,两位同学延迟提交,出人意料, ...
第十五课.马尔科夫链蒙特卡洛方法
目录 M-H采样 Metropolis-Hastings采样原理 M-H采样步骤 Gibbs方法 Gibbs核心流程 Gibbs采样的合理性证明 Gibbs采样实验在第十四课中讲述了马尔科夫链与其 ...
第十四课.马尔科夫链
目录马尔科夫链马尔科夫链的平稳分布马尔科夫链进入稳态的转移过程马尔科夫链稳态的意义稳态判定:细致平稳条件马尔科夫链随机过程指的是一个随机变量序列:{Xt}\left\{X_{t}\rig ...

6.1离散时间马尔科夫链

离散时间马尔科夫链