gmm中隐变量是什么的_机器学习-隐变量模型和期望最大算法

1 隐变量模型

1.1 隐变量模型意义

1.2 高斯混合模型 GMM

1.3 其他模型(应用)

2 期望最大算法(EM)

2.1 EM算法意义

2.2 EM算法推导

2.3 EM算法

2.4 EM收敛性

3 隐变量模型和EM算法的应用

3.1 隐变量模型应用

3.2 EM应用和可求解的问题

符号：观测变量

$x$ ，隐含变量

$z$ 。

1 隐变量模型

1.1 隐变量模型意义

对于一些问题，直接使用观测的变量建模会导致问题过于复杂，或者无法得到很好的结果。但是，隐变量可以可以为部分问题提供一个很好的作为观测数据和目标结果之间的桥梁。

1.2 高斯混合模型 GMM

高斯混合模型就是由多个高斯模型组合在一起的混合模型(可以理解为多个高斯分布函数的线性组合，理论上高斯混合模型是可以拟合任意类型的分布)，例如对于下图中的数据集如果用一个高斯模型来描述的话显然是不合理的：

(EM算法的一个重要应用场景就是高斯混合模型的参数估计。)

两个高斯模型可以拟合数据集，如图所示：

相关分布

观测数据是在某个隐含变量条件下的高斯分布

$x^{(i)} | z^{(i)}=j \sim \mathcal{N}\left(\mu_{j}, \Sigma_{j}\right)$

隐含变量满足多项分布

$z^{(i)} \sim \text { Multinomial }(\phi)$ 即

$p\left(z^{(i)}=j\right)=\phi_j$

完全数据满足概率

$p\left(x^{(i)}, z^{(i)}\right)=p\left(x^{(i)} | z^{(i)}\right) p\left(z^{(i)}\right)$

高斯混合模型

$\begin{aligned} \ell(\phi, \mu, \Sigma) &=\sum_{i=1}^{m} \log p\left(x^{(i)} ; \phi, \mu, \Sigma\right) \\ &=\sum_{i=1}^{m} \log \sum_{z^{(i)}=1}^{k} p\left(x^{(i)} | z^{(i)} ; \mu, \Sigma\right) p\left(z^{(i)} ; \phi\right) \end{aligned}$

1.3 其他模型(应用)

K-Means, Probablistic PCA (降维)

CS229中的例子, Prof. Andrew Ng以 Anomaly Detection 异常检测为例子，使用GMM模型判断一个异常点是否在GMM整体概率低的地方

2 期望最大算法(EM)

2.1 EM算法引入

对于参数估计我们一般使用MLE，但是对于带有隐变量的模型，如下似然中隐变量

$z$ 和参数

$\theta$ 都不知道

$LL(\theta)=log(P(X,Z;\theta))$

所以对于这样的情况，我们可以对隐变量做期望然后再最大化似然，这便引出了EM

$LL(\theta)=log(P(X,Z;\theta))=log\sum_{Z}^{}{P(X,Z;\theta)}$

2.2 EM算法推导

Jensen不等式，这个公式在推导和收敛都用到，主要是如下的结论：

如果

$f(x)$ 是凸函数，那么

$f(E(X)) \le E(f(x))$

如果

$f(x)$ 是凹函数，那么

$f(E(X)) \ge E(f(x))$

推导出EM算法可以近似实现对观测数据的极大似然估计的办法是找到E步骤的下界，让下届最大，通过逼近的方式实现对观测数据的最大似然估计。统计学习基础中采用的是相减方式，我们来看下具体的步骤。

增加隐藏变量

$L(\theta)=\sum_{Z}logP(Y,Z;\theta)=\sum_{Z}logP(Y|Z;\theta)P(Z;\theta)$

先不看这个求和我们对公示展开并且引入一个分布

$q(t)$ ，可以化简和求解到如下式子 (符号有些变化，请只关注主体推导)

$logP(x;\theta)=log(\frac{P(x,z;\theta)}{P(z|x)}) =logP(x,z;\theta)-logP(z|x)\\ =引入q，经过许多推导\\ =\int_{z}^{}q(z)log\frac{p(x,z;\theta)}{q(z)}- \int_{z}^{}q(z)log\frac{p(z|x)}{q(z)} \\ =Evidence \, Lower \, Bound (ELBO) + KL \, Divergence \\ =ELBO + KL(q(z)||p(z|x))$

这里最大化似然，转化为了最大化 ELBO，以及最小化KL散度。

最小化 KL Divergence，需要两个概率相等，则

$q(z)||p(z|x;\theta)$

然后我们最大化 ELBO，将刚刚得到的q带入，则

$ELBO=\int_{z}^{}q(z)log\frac{p(x,z;\theta)} {q(z)} \\=\int_{z}^{}p(z|x;\theta^{t})log\frac{p(x,z;\theta)}{p(z|x;\theta^{t})}$

这个ELBO，我们再整理一下就是我们 E-step 的 Q 函数(一个Epectation，也是这一步名字的由来)

$Q(\theta;\theta^{t})=E_{z|x;\theta^{t}}[logP(X,Z;\theta)]=\sum_{z}^{}logP(X|Z)P(Z)$

接下来，就是 M-step 只需要最大化 Q 函数即可，得到参数

$\theta^{t+1}=argmaxQ(\theta, \theta^{t})$

2.3 EM算法核心总结

EM algorithm 是坐标上升(或下降) coordinate descent optimization 优化 variational lower bound

$\mathcal{L}(\theta, q) = \int q(T) \log\frac{p(X, T|\theta)}{q(T)}dT\to \max$ Expectation 步 (求期望)

E 步骤，由两个分步骤，一是根据 KL Divergence 或者 Jensen 不等式取得极值得条件，获得 q得分布；二是构建 Q 就是 ELBO，也就是期望

$\mathcal{L}(\theta, q) \to \max\limits_{q} \Leftrightarrow \mathcal{KL} [q(T) \,\|\, p(T|X, \theta)] \to \min \limits_{q\in Q} \Rightarrow q(T) = p(T|X, \theta)$ Maximization 步 (求期望的最大)

$\mathcal{L}(\theta, q) \to \max\limits_{\theta} \Leftrightarrow \mathbb{E}_{q(T)}\log p(X,T | \theta) \to \max\limits_{\theta}$

2.4 EM算法步骤

输入：观测变量数据

$Y$ ，隐变量数据

$Z$ ，联合分布

$P(Y,Z|\theta)$ ，条件分布

$P(Z|Y,\theta)$

输出：模型参数

$\theta$ (1)选择参数的初值

$\theta^0$ ，开始

$\theta$ 迭代

(2) E 步：记

$\theta^i$ 为第i次迭代参数

$\theta$ 的估计值，在第

$i+1$ 次迭代的E步，计算

$\begin{aligned} Q(\theta,\theta^i)&=E_{Z|Y}[logP(Y,Z|\theta)|Y,\theta^i]\\ &=\sum_{Z}logP(Y,Z|\theta)P(Z|Y,\theta^i) \end{aligned}$

这里，

$P(Z|Y,\theta^i)$ 是在给定

$\theta^i$ 观测数据

$Y$ 和当前的参数估计下隐变量数据

$Z$ 的条件概率分布；(3) M步：求使

$Q(\theta,\theta^i)$ 极大化的

$\theta$ ，确定第

$i+1$ 次迭代的参数的估计值

$\theta^{i+1}$ ，

$\theta^{i+1}=arg \max \limits_{\theta}Q(\theta,\theta^{i})$

$Q(\theta,\theta^{i})$ 是EM算法的核心，称为Q函数(Q function)，这个是需要自己构造的。(4) 重复第(2)步和第(3)步，直到收敛，收敛条件：

$|| \theta^{i+1}-\theta^{i} || < \varepsilon_1$ 或者 ELBO

$||Q(\theta^{i+1},\theta^{i})-Q(\theta^{i},\theta^{i})|| <\varepsilon_2$

收敛迭代就结束了。我们来拆解一下这个M步骤，

2.4 EM收敛性

通过似然和下界，得到下面的式子。由下式第一项和最后一项，得到算法一定会收敛

$logP(X|\theta^{t+1}) \geq Q(\theta^{k+1}, q^{k+1}) \geq Q(\theta^{k}, q^{k+1})=logP(X|\theta^{k})$

但，EM算法可能收敛到局部最优处，所以需要多次初始化，运行EM来得到全局最优。

3 隐变量模型和EM算法的应用

3.1 隐变量模型应用观测数据有噪声，可以把无噪声数据当做隐变量

高维数据转化到低维度，可以把低维度当做隐变量

数据来自不同分布，可以把不同分布的软比例作为隐变量

数据有缺失，可以把缺失的特征作为隐变量

3.2 EM在GMM中的应用E 步：

E1步骤：利用KL散度，得到近似概率分布

$q_{i}\left(z^{(i)}\right):=p\left(z^{(i)} | x^{(i)} ; \theta\right)$

E2步骤：构建Evidence Lower Bound (Q function)，即期望

$Q(\theta,\theta^{t})=\sum_{i} \sum_{z(i)} q_{i}\left(z^{(i)}\right) \log \frac{p\left(x^{(i)}, z^{(i)} ; \theta\right)}{q_{i}\left(z^{(i)}\right)}$ M 步：

$\theta^{i+1}=arg \max_{\theta}Q(\theta,\theta^i)$

对

$Q(\theta,\theta^i)$ 求导，得到每个未知量的偏导，使其偏导等于0，求解得到：

$\begin{aligned} \phi_{j} &:=\frac{1}{m} \sum_{i=1}^{m} w_{j}^{(i)} \\ \mu_{j} &:=\frac{\sum_{i=1}^{m} w_{j}^{(i)} x^{(i)}}{\sum_{i=1}^{m} w_{j}^{(i)}} \\ \Sigma_{j} &:=\frac{\sum_{i=1}^{m} w_{j}^{(i)}\left(x^{(i)}-\mu_{j}\right)\left(x^{(i)}-\mu_{j}\right)^{T}}{\sum_{i=1}^{m} w_{j}^{(i)}} \end{aligned}$

gmm中隐变量是什么的_机器学习-隐变量模型和期望最大算法相关推荐

机器学习模型知乎_机器学习中有哪些模型？
AI主要的作用就是利用计算机模拟各种生物智能来解决问题,生物智能的多样性造就了计算机模拟智能的多样性,但是不管模拟的智能是什么,整个处理的过程都是相似的,都需要把模拟的智能通过数学建模给抽象出来,找到 ...
lda主题模型困惑度_机器学习-LDA主题模型笔记
LDA常见的应用方向: 信息提取和搜索(语义分析):文档分类/聚类.文章摘要.社区挖掘:基于内容的图像聚类.目标识别(以及其他计算机视觉应用):生物信息数据的应用; 对于朴素贝叶斯模型来说,可以胜任许 ...
3. 机器学习中为什么需要梯度下降_机器学习中一些模型为什么要对数据归一化？...
一般做机器学习应用的时候大部分时间是花费在特征处理上,其中很关键的一步就是对特征数据进行归一化,为什么要归一化呢?很多同学并未搞清楚,维基百科给出的解释: 1)归一化后加快了梯度下降求最优解的速度蓝 ...
python变量后面加星号_计算与变量（一）跟杜老师一起，趣学Python编程
好了,现在你的Python装好了,也知道如何启动PythonShell程序了,那么你就已经准备好用它来做点什么了.我们将从一些简单的计算开始,然后再使用变量.变量是计算机程序中用来保存东西的一种方式, ...
java静态变量需要初始化吗_» Java静态变量初始化顺序浅谈
Java 类初始化顺序在网上已经有很多文章了,这里不再谈那么多,仅仅谈下Java静态变量的初始化顺序,如果你是Java高手,并且自认为对这个顺序已经掌握到了炉火纯青的境界,请忽视这篇文章. 前天看了Y ...
多分类f1分数_机器学习之分类模型评估总结
一.概述在机器学习模型搭建好之后,需要对模型进行评估,针对不同的算法模型有不同的评估方法,比如:分类算法.回归算法.聚类算法等,本文主要是针对分类算法的模型评估方法进行总结整理,便于自己对评估方法的 ...
推荐系统算法_机器学习和推荐系统（二）推荐算法简介
推荐算法简介一. 基于人口统计学的推荐算法二.基于内容的推荐算法三. 基于协同过滤的推荐算法协同过滤(Collaborative Filtering , CF) 基于近邻的系统过滤基于用户( ...
python实现朴素贝叶斯算法_机器学习---用python实现朴素贝叶斯算法（Machine Learning Naive Bayes Algorithm Application）...
在这里,我们使用一份皮马印第安女性的医学数据,用来预测其是否会得糖尿病.文件一共有768个样本,我们先剔除缺失值,然后选出20%的样本作为测试样本. 特征分别是: 怀孕次数口服葡萄糖耐量试验中血浆葡 ...
ltv价值应用_浅谈LTV模型的概念、算法及作用意义
本帖最后由图样图森破于 2013-11-14 09:11 编辑 LTV 概念用户终身价值(life time value)解释 LTV是在一定时间内,某一客户可能为企业带来的利润额. 顾客终身价 ...

gmm中隐变量是什么的_机器学习-隐变量模型和期望最大算法

gmm中隐变量是什么的_机器学习-隐变量模型和期望最大算法相关推荐

最新文章

热门文章