机器学习笔记(十六)—

一、引言

按照计划，这周应该学习HMM中的第三个基本问题：参数估计问题，但是其中的内容涉及到了EM算法，所以打算先把EM算法搞定之后再去继续HMM的问题。EM算法的推导过程比较复杂，这节我只给出简述和计算公式，待推导完成后再贴上推导过程。

二、一个实例

例1 （三硬币模型） 假设有3枚硬币，分别记为A,B,CA,B,C。这些硬币正面出现的概率分别是π,p,q\pi, p,q。进行如下掷硬币试验：先掷硬币A,根据其结果选出B或者C，正面选B，反面选C；然后掷选出的硬币，掷硬币的结果，正面记为1，反面记为0；独立重复n次试验(这里，n=10),观测结果如下：1,1,0,1,0,0,1,0,1,1.假设只能观测到掷硬币的结果，不能观测掷硬币的过程。问如何估计三硬币正面出现的概率，即求三硬币模型的参数。

三硬币模型可以写作:

P(y;θ)=∑zP(y,z;θ)=∑zP(z;θ)P(y|z;θ)=πpy(1−p)1−y+(1−π)qy(1−q)1−y

P(y;\theta) = \sum_z P(y,z;\theta) = \sum_z P(z;\theta)P(y|z;\theta) \\ =\pi p^y(1-p)^{1-y}+(1-\pi)q^y(1-q)^{1-y}
上式中，随机变量 yy是观测变量，zz是隐变量且不可观测， θ=(π,p,q)\theta = (\pi, p, q)是模型参数。这一模型是以上数据的生成模型。将观测数据表示为 Y=(Y1,Y2,…,Yn)TY=(Y_1,Y_2,\dots,Y_n)^T, 未观测数据表示为 Z=(Z1,Z2,…,Zn)TZ=(Z_1,Z_2, \dots, Z_n)^T，则观测数据的似然函数为：

P(Y;θ)=∑zP(Z;θ)P(Y|Z;θ)=∏j=1n[πpyj(1−p)1−yj+(1−π)qyj(1−q)1−yj]

P(Y;\theta) = \sum_z P(Z;\theta)P(Y|Z;\theta) \\ =\prod_{j=1}^n[\pi p^{y_j}(1-p)^{1-{y_j}}+(1-\pi)q^{y_j}(1-q)^{1-{y_j}}]

三、EM算法的迭代公式

考虑求模型参数θ=(π,p,q)\theta = (\pi, p, q)的极大似然估计，即：

θ^=argmaxθlogP(Y;θ)

\hat{\theta} = arg \max_\theta \log P(Y;\theta)
这个问题没有解析解，只有通过迭代方法求解，EM算法就是求解这个问题的一种算法。下面先给出去针对上述问题的EM算法，推导过程下节给出。
1. 选取初始参数 θ(0)=(π(0),p(0),q(0))\theta^{(0)} = (\pi^{(0)}, p^{(0)}, q^{(0)})
2. E步：计算模型参数 π(i),p(i),q(i)\pi^{(i)}, p^{(i)}, q^{(i)}下观测数据 yjy_j来自掷硬币B的概率：

μ(i+1)=π(i)(p(i))yj(1−p(i))1−yjπ(i)(p(i))yj(1−p(i))1−yj+(1−π(i))(q(i))yj(1−q(i))1−yj

\mu^{(i+1)} = \frac{\pi^{(i)}(p^{(i)})^{y_j}(1-p^{(i)})^{1-y_j}}{\pi^{(i)}(p^{(i)})^{y_j}(1-p^{(i)})^{1-y_j} +(1-\pi^{(i)})(q^{(i)})^{y_j}(1-q^{(i)})^{1-y_j}}
3. M步：计算模型参数的新估计值：

π(i+1)=1n∑j=1nμ(i+1)jp(i+1)=∑nj=1μ(i+1)jyj∑nj=1μ(i+1)jq(i+1)=∑nj=1(1−μ(i+1)j)yj∑nj=1(1−μ(i+1)j)

\pi^{(i+1)} = \frac{1}{n}\sum_{j=1}^{n}\mu_j^{(i+1)}\\ p^{(i+1)} = \frac{\sum_{j=1}^{n}\mu_j^{(i+1)}y_j}{\sum_{j=1}^{n}\mu_j^{(i+1)}}\\ q^{(i+1)} = \frac{\sum_{j=1}^{n}(1-\mu_j^{(i+1)})y_j}{\sum_{j=1}^{n}(1-\mu_j^{(i+1)})}
4. 给出停止迭代的条件，一般是较小的正数 ε\varepsilon, 满足：

||θ(i+1)−θ(i)||<ε

||\theta^{(i+1)}-\theta^{(i)}||
重复上式2-4步，完成求解，需要注意的是EM算法对初始值的选取是相当敏感的。