机器学习知识点(十)马尔可夫链

马尔可夫链概述

马尔可夫链因安德烈·马尔可夫（Andrey Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。

　　时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简记为 ${X_n=X(n),n=0,1,2,\cdots}$ 。

　　马尔可夫链是随机变量 $X_1,X_2,X_3\cdots$ 的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而Xn的值则是在时间n的状态。如果Xn + 1对于过去状态的条件概率分布仅是Xn的一个函数，则

　　 $P(X_{n+1}=x|X_0,X_1,X_2,\cdots,X_n)=P(X_{n+1}=x|X_n)$

　　这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。

　　马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。

　　马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。

　　马尔可夫链是满足下面两个假设的一种随机过程：

　　1、t+l时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关；

　　2、从t时刻到t+l时刻的状态转移与t的值无关。一个马尔可夫链模型可表示为=(S，P，Q)，其中各元的含义如下：

　　1）S是系统所有可能的状态所组成的非空的状态集，有时也称之为系统的状态空间，它可以是有限的、可列的集合或任意非空集。本文中假定S是可数集(即有限或可列)。用小写字母i,j(或 $S i, S j$ )等来表示状态。

　　2） $P=[P_{ij}]_{n\times n}$ 是系统的状态转移概率矩阵，其中 $P ij$ 表示系统在时刻t处于状态i，在下一时刻t+l处于状态i的概率，N是系统所有可能的状态的个数。对于任意i∈s，有 $\sum_{j=1}^NP_{ij}=l$ 。

　　3） $Q=[q_1,q_2\cdots q_n]$ 是系统的初始概率分布， $q i$ 是系统在初始时刻处于状态i的概率，满足 $\sum_{i=1}^Nq_i=1$ 。

马尔可夫链的性质

马尔可夫链是由一个条件分布来表示的

　　 $P (X n + 1 | X n)$

　　这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质：

　　 $P(X_{n+2}|X_n) = \int P(X_{n+2},X_{n+1}|X_n)dX_{n+1} = \int P(X_{n+2}|X_{n+1})P(X_{n+1}|X_n)dX_{n+1}$

　　同样：

　　 $P(X_{n+3}|X_n) = \int P(X_{n+3}|X_{n+2}) \int P(X_{n+2}|X_{n+1})P(X_{n+1}|X_n)dX_{n+1}dX_{n+2}$

　　这些式子可以通过乘以转移概率并求k−1次积分来一般化到任意的将来时间n+k。

　　边际分布 $P (X n)$ 是在时间为n时的状态的分布。初始分布为 $P (X 0)$ 。该过程的变化可以用以下的一个时间步幅来描述：

　　 $P(X_{n+1}) = \int P(X_{n+1}|X_n)P(X_n)dX_n$

　　这是Frobenius-Perron equation的一个版本。这时可能存在一个或多个状态分布π满足：

　　 $\pi(X) = \int P(X|Y)\pi(Y)dY$

　　其中Y只是为了便于对变量积分的一个名义。这样的分布π被称作是“平稳分布”（Stationary Distribution）或者“稳态分布”（Steady-state Distribution）。一个平稳分布是一个对应于特征根为1的条件分布函数的特征方程。

　　平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。

离散状态空间中的马尔可夫链模型

　　如果状态空间是有限的，则转移概率分布可以表示为一个具有(i,j)元素的矩阵，称之为“转移矩阵”：

　　 $P ij = P (X n + 1 = i | X n = j)$

　　对于一个离散状态空间，k步转移概率的积分即为求和，可以对转移矩阵求k次幂来求得。就是说，如果 $\mathbf{P}$ 是一步转移矩阵， $\mathbf{P}^k$ 就是k步转移后的转移矩阵。

　　平稳分布是一个满足以下方程的向量：

　　 $\mathbf{P}\pi^* = \pi^*$

　　在此情况下，稳态分布π * 是一个对应于特征根为1的、该转移矩阵的特征向量。

　　如果转移矩阵 $\mathbf{P}$ 不可约，并且是非周期的，则 $\mathbf{P}^k$ 收敛到一个每一列都是不同的平稳分布 $π *$ ，并且，

　　 $\lim_{k\rightarrow\infty}\mathbf{P}^k\pi=\pi^*$

　　独立于初始分布π。这是由Perron-Frobenius theorem所指出的。

　　正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个随机矩阵，当且仅当这是某个马尔可夫链中转移概率的矩阵。

　　注意：在上面的定式化中，元素(i,j)是由j转移到i的概率。有时候一个由元素(i,j)给出的等价的定式化等于由i转移到j的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另外，一个系统的平稳分布是由该转移矩阵的左特征向量给出的，而不是右特征向量。

　　转移概率独立于过去的特殊况为熟知的Bernoulli scheme。仅有两个可能状态的Bernoulli scheme被熟知为贝努利过程

马尔可夫链的应用

[编辑]

科学中的应用

　　马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算法编码。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。

　　马尔可夫链最近的应用是在地理统计学（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学（Kriging geostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。

[编辑]

人力资源中的应用

　　马尔可夫链模型主要是分析一个人在某一阶段内由一个职位调到另一个职位的可能性，即调动的概率。该模型的一个基本假设就是，过去的内部人事变动的模式和概率与未来的趋势大体相一致。实际上，这种方法是要分析企业内部人力资源的流动趋势和概率，如升迁、转职、调配或离职等方面的情况，以便为内部的人力资源的调配提供依据。

　　它的基本思想是：通过发现过去组织人事变动的规律，以推测组织在未来人员的供给情况。马尔可夫链模型通常是分几个时期收集数据，然后再得出平均值，用这些数据代表每一种职位中人员变动的频率，就可以推测出人员变动情况。

　　具体做法是：将计划初期每一种工作的人数量与每一种工作的人员变动概率相乘，然后纵向相加，即得到组织内部未来劳动力的净供给量。其基本表达式为：

　　 $N_i(t)=\sum_{j=1}^k*P_{ij}+V_i(t)$

N i (t)

：t时间内I类人员数量；

P ji

：人员从j类向I类转移的转移率；

V i (t)

：在时间（t-1,t）I类所补充的人员数。

　　企业人员的变动有调出、调入、平调、晋升与降级五种。表3 假设一家零售公司在1999至2000年间各类人员的变动情况。年初商店经理有12人，在当年期间平均90％的商店经理仍在商店内，10％的商店经理离职，期初36位经理助理有 11％晋升到经理，83％留在原来的职务，6％离职；如果人员的变动频率是相对稳定的，那么在2000年留在经理职位上有11人（12×90％），另外，经理助理中有4人（36×83％）晋升到经理职位，最后经理的总数是15人（11＋4）。可以根据这一矩阵得到其他人员的供给情况，也可以计算出其后各个时期的预测结果。假设的零售公司的马尔可夫分析，见下表：

1999~2000	商店经理	经理助理	区域经理	部门经理	销售员	离职
商店经理 (n=12)	90% 11					10% 1
经理助理 (n=36)	11% 4	83% 30				6% 2
区域经理 (n=96)		11% 11	66% 63	8% 8		15% 14
部门经理 (=288)			10% 29	72% 207	2% 6	16% 46
销售员 (=1440)				6% 86	74% 1066	25% 228
供给预测	15	41	92	301	1072	351