随机游走与马尔科夫链的一些基础

转载自：http://blog.csdn.net/assiduousknight/article/details/18150803

这几天在看一些使用到了随机游走的相关文献，整理一下常用的公式和性质

随机游走（random walk）矩阵可以看做是马尔科夫链的一种特例。对于一个图G的邻接矩阵A来说，A中的非零元素描述了图G中每一条边的权重（这里一般要求A的对角线为零）。这个权重描述了节点之间的相似性。如果我们对A进行按行归一化，即

P=D−1A,

D是A的度矩阵，是一个对角阵，对角线元素 D(i,i)=∑jA(i,j) 。这样的到的矩阵P就是一个随机游走矩阵。每个点与其他所有节点的跳转概率之和为1，

∑jP(i,j)=1.

一个随机游走矩阵对应的是一个遍历的马尔科夫链，也就是说任意两个状态之间都可以互相到达。从任意状态at出发，经过一步转移，下一时刻的概率为

at+1=atP.

这样一直进行下去，经过一定时间可以到达稳态（equilibirum state）。所谓稳态，就是说状态的概率分布不再进行变化：

πP=π.

这里 π 就是稳态。仔细观察这个方程，可以看出稳态实际上就是随机游走矩阵特征值1所对应的特征向量。另外一个计算稳态的方法是

π=D(i,i)/∑i∑jA(i,j).

马尔科夫链的基础矩阵定义为

Z=(I−P−W)−1.

其中I是一个单位阵，P为对应的随机游走矩阵，W是将稳态按行堆叠形成的矩阵。对于一个正规的马尔科夫链（即P的任何次方都没有负值的元素），W可以看做 Pn 中n趋于无穷大的情况。通过基础矩阵，我们可以计算马尔科夫链的很多特性。其中主要包括了各种访问时间:

1. 从状态i出发返回状态i的时间期望：

EiT+i=1/πi

2. 从状态i出发，回到状态i之前，访问状态j的次数期望：

EiVj(T+i)=πj/πi

3. 从状态i出发，到达状态j的时间期望:

EiTj=EiT+i⋅(Zj,j−Zi,j)

4. 从状态j出发，到达状态i之前，访问状态j的次数期望(i≠j)：

EiVj(Tj)=πj(EjTi+EiTj)

5. 从状态i出发，到达状态l之前，访问状态j的次数期望(i≠l)：

EiVj(Tl)=πj(EiTl+ElTj−EiTj)

6. 从稳态出发，到达状态i的时间期望：

EπTi=EiT+i⋅Zi,j

7. 从稳态出发，到达状态i之前，访问状态j的次数：

EπVj(Ti)=EiT+iEjT+jZi,i−Zi,j

下面给出三个定理

1. 对状态i≠j，

Pi(Tj<T+j)=1πi(EiTj+EjTi)

2. 对状态i≠l,j≠l,

Pi(Tj<Tl)=EiTl+ElTj−EiTjEjTl+ElTj

3. 对任意状态i，

∑jEiTjEjT+j=∑jZj,j,

和i无关。

注：上述标记中，上标的加号代表不计算初始时间，也就是如果从状态i出发经过n步回到状态i，那么

随机游走与马尔科夫链的一些基础相关推荐

【转载】随机游走及马尔科夫链（本体映射相关）
http://blog.csdn.net/songzitea/article/details/18087401
蒙特卡洛分析_随机模拟：马尔科夫链蒙特卡洛采样MCMC与EM算法「2.3」
最近学习了机器学习中的马尔科夫链蒙特卡洛(Markov Chain Monte Carlo, 简称MCMC) 相关的知识. 主要内容包括: [1]蒙特卡洛原则,及其应用于采样的必要性(已经发布在头条) ...
通过Python实现马尔科夫链蒙特卡罗方法的入门级应用
通过把马尔科夫链蒙特卡罗(MCMC)应用于一个具体问题,本文介绍了 Python 中 MCMC 的入门级应用. GitHub 地址:https://github.com/WillKoehrsen/ai ...
蒙特卡洛法（三）马尔科夫链蒙特卡洛法
马尔科夫链蒙特卡洛法适合于随机变量是多元的.密度函数是非标准形式的随机变量各分量不独立的情况.如何构建具体的马尔科夫链是这个方法的关键,离散变量的时候,需要定义转移矩阵,构建可逆马尔科夫链,保证遍历定 ...
阿尔法狗怎么用机器学习做决策：马尔科夫链减少搜索空间说起(附PDF公号发“马链搜索”下载)...
阿尔法狗怎么用机器学习做决策:马尔科夫链减少搜索空间说起(附PDF公号发"马链搜索"下载) 以色列理工Dr许铁数据简化DataSimp 今天数据简化DataSimp导读:Alp ...
模拟退火算法及马尔科夫链
一.介绍模拟退火算法模拟退火算法是根据退火原理尽量找到最优解的一种方法. 计算机在寻找最优解的时候,通常会大量搜索和逼近,以随机小量的扰动不断接近最优解. 而模拟退火算法则是在此基础上加入了退火的过 ...
结对编程-马尔科夫链作业成绩
结对编程-马尔科夫链作业成绩作业博客:http://www.cnblogs.com/vertextao/p/6881960.html 问题本次作业仅有三位同学按时提交,两位同学延迟提交,出人意料, ...
第十五课.马尔科夫链蒙特卡洛方法
目录 M-H采样 Metropolis-Hastings采样原理 M-H采样步骤 Gibbs方法 Gibbs核心流程 Gibbs采样的合理性证明 Gibbs采样实验在第十四课中讲述了马尔科夫链与其 ...
第十四课.马尔科夫链
目录马尔科夫链马尔科夫链的平稳分布马尔科夫链进入稳态的转移过程马尔科夫链稳态的意义稳态判定:细致平稳条件马尔科夫链随机过程指的是一个随机变量序列:{Xt}\left\{X_{t}\rig ...
MCMC(二)马尔科夫链
在MCMC(一)蒙特卡罗方法中,我们讲到了如何用蒙特卡罗方法来随机模拟求解一些复杂的连续积分或者离散求和的方法,但是这个方法需要得到对应的概率分布的样本集,而想得到这样的样本集很困难.因此我们需要本篇 ...

随机游走与马尔科夫链的一些基础

随机游走与马尔科夫链的一些基础相关推荐

最新文章

热门文章