0. 前言

EM算法是常用的估计参数隐变量的方法，它是一种迭代式算法，EM算法原型：

E步：若参数θ\thetaθ已知，则可根据训练数据推断出最优隐变量ZZZ
M步：若ZZZ的值已知，则可方便的对参数θ\thetaθ进行极大似然估计

1. EM算法

在概率图模型中，主要推断任务是基于观测变量推断隐变量和参数，即p(z∣x,θ)p(z\mid x,\theta)p(z∣x,θ)和θ\thetaθ。

通过EM算法不断迭代：

E步：根据ttt时刻的参数θt\theta^tθt和观测变量推断p(z∣x,θt)p(z\mid x,\theta^t)p(z∣x,θt)，并计算联合似然函数p(z,x∣θt)p(z,x\mid \theta^t)p(z,x∣θt)，然后计算对数似然LL(θ∣x,z)LL(\theta\mid x,z)LL(θ∣x,z)关于隐变量的期望：
Q(θ;θt)=Ez∣x,θtLL(θ∣x,z)=Ez∣x,θtln⁡p(x,z∣θ)=∑zp(z∣x,θt)ln⁡p(x,z∣θ)\begin{aligned} Q(\theta;\theta^t)=&E_{z\mid x,\theta^t}LL(\theta\mid x,z)\\ &=E_{z\mid x,\theta^t}\ln p(x,z\mid \theta)\\ &=\sum_zp(z\mid x,\theta^t)\ln p(x,z\mid \theta) \end{aligned} Q(θ;θt)=Ez∣x,θtLL(θ∣x,z)=Ez∣x,θtlnp(x,z∣θ)=z∑p(z∣x,θt)lnp(x,z∣θ)
M步：寻找参数的最大化期望似然：
θt+1=arg⁡max⁡θQ(θ;θt)\theta^{t+1}=\arg\max_\theta Q(\theta; \theta^t) θt+1=argθmaxQ(θ;θt)

2. 变分推断

变分推断通过使用已知简单分布来逼近需推断的复杂分布，并通过限制近似分布的类型，从而得到一种局部最优、但具有确定解的近似后验分布。

在现实任务中，E步对p(z∣x,θt)p(z\mid x,\theta^t)p(z∣x,θt)的推断可能因为zzz的模型复杂而难以进行，可借助变分推断，令q(z)=p(z∣x,θt)q(z)=p(z\mid x,\theta^t)q(z)=p(z∣x,θt)，假设zzz服从分布：
q(z)=∏i=1Mqi(zi)q(z)=\prod_{i=1}^Mq_i(z_i) q(z)=i=1∏Mqi(zi)

可求得最优分布qj∗q_j^*qj∗：
ln⁡qj∗(zj)=Ei≠j[ln⁡p(x,z)]+const⇒qj∗(zj)=exp⁡(Ei≠j[ln⁡p(x,z)])∫exp⁡(Ei≠j[ln⁡p(x,z)])dzj\ln q_j^*(z_j)=E_{i\neq j}[\ln p(x,z)]+const\\ \Rightarrow q_j^*(z_j)=\frac{\exp(E_{i\neq j}[\ln p(x,z)])}{\int \exp(E_{i\neq j}[\ln p(x,z)])dz_j} lnqj∗(zj)=Ei̸=j[lnp(x,z)]+const⇒qj∗(zj)=∫exp(Ei̸=j[lnp(x,z)])dzjexp(Ei̸=j[lnp(x,z)])

若隐变量的拆解或变量子集的分布假设不当，则会导师变分法效率低。

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

西瓜书+实战+吴恩达机器学习（二三）EM算法和变分推断相关推荐

西瓜书+实战+吴恩达机器学习（二）机器学习基础（偏差、方差、调试模型技巧）
文章目录 0. 前言 1. 偏差方差的解决方法 2. 高偏差高方差的学习曲线 3. 调试模型技巧如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言泛化误差可分解为 ...
西瓜书+实战+吴恩达机器学习（十四）无监督学习之聚类（k-means, LVQ, 高斯混合聚类, DBSCAN, AGNES）
文章目录 0. 前言 1. 性能度量 1.1. 外部指标 1.2. 内部指标 2. 距离计算 3. k-means算法 4. 学习向量量化 5. 高斯混合聚类 6. 密度聚类 DBSCAN 7. 层次 ...
西瓜书+实战+吴恩达机器学习（十五）无监督学习之关联分析（Apriori, FP-growth）
文章目录 0. 前言 1. Apriori算法 1.1. 寻找频繁项集 1.2. 挖掘关联规则 2. FP-growth算法 2.1. 构建FP树 2.2. 寻找频繁项集如果这篇文章对你有一点小小的 ...
西瓜书+实战+吴恩达机器学习（二二）概率图模型之马尔可夫随机场
文章目录 0. 前言 1. 马尔可夫随机场结构 2. 近似推断 2.1. Metropolis-Hastings 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言 ...
西瓜书+实战+吴恩达机器学习（二一）概率图模型之贝叶斯网络
文章目录 0. 前言 1. 贝叶斯网络结构 2. 近似推断 2.1. 吉布斯采样 3. 隐马尔可夫模型HMM 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言概率 ...
西瓜书+实战+吴恩达机器学习（十九）特征选择（过滤式选择、包裹式选择）
文章目录 0. 前言 1. 过滤式选择 2. 包裹式选择如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言特征选择是一个很重要的数据预处理过程: 选择出重要的特征 ...
西瓜书+实战+吴恩达机器学习（十八）降维（主成分分析 PCA）
文章目录 0. 前言 1. 主成分分析PCA 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言维数灾难:在高维情形下出现的数据样本稀疏.距离计算困难等问题. 缓解 ...
西瓜书+实战+吴恩达机器学习（十七）规则学习（序贯覆盖）
文章目录 0. 前言 1. 序贯覆盖如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言规则学习是从训练数据中学习出一组能用于对未见示例进行判别的规则. ⊕←f1∧ ...
西瓜书+实战+吴恩达机器学习（十六）半监督学习（半监督SVM、半监督k-means、协同训练算法）
文章目录 0. 前言 1. 半监督SVM 2. 半监督k-means 2.1. 约束k-means 2.2. 约束种子k-means 3. 协同训练算法如果这篇文章对你有一点小小的帮助,请给个关注, ...

西瓜书+实战+吴恩达机器学习（二三）EM算法和变分推断

文章目录

0. 前言

1. EM算法

2. 变分推断

西瓜书+实战+吴恩达机器学习（二三）EM算法和变分推断相关推荐

最新文章

热门文章