高斯混合模型（GMM）浅入理解

2024-06-08 13:02:10

学习的资料主要是看大佬的一些博客和李航老师的统计学习第九章，感谢！
其中有篇笔记让小匹眼前一亮，这里贴出来：
知乎_戴文亮_高斯混合模型（GMM）
进入正题

目录

1.1 概念理解
1.2 隐变量
1.3 聚类功能

1.1 概念理解

高斯混合模型（GMM），是单一高斯模型的延伸,其概率分布模型为：
P ( x ∣ θ ) = ∑ k = 1 K α k ϕ ( x ∣ θ k ) P(x|\theta) = \sum_{k=1}^K\alpha_k\phi(x|\theta_k) P(x∣θ)=k=1∑Kαkϕ(x∣θk)
由公式可以看出，高斯混合模型可以看做由k个单一高斯模型混合而成的。

其中k是隐变量，在训练中不能直接使用，所以不能简单地用以往的普通极大似然估计来训练参数。和高斯混合模型配套使用的EM算法，就是专门用来解决隐变量问题的。

1.2 隐变量

隐变量是什么？网络上的一些解释是，不能直接被观测的数。（有点量子化了。。。）

我的理解是，例如上式的隐变量k，k是在整个训练完全结束之后才确定的数，是个对整体数据观测之后得到的一个寻优近似量。

所以，在训练过程中，不能调用这个k，k是始终在优化的。这也是高斯混合模型的聚类功能的体现，无监督聚类到最后才能观测聚成了几类。

训练的时候不能调用它，需要用其它方法去绕开隐变量。于是，诞生了EM算法，用Q函数绕开隐变量，近似估计极大似然。

1.3 聚类功能

GMM，常用于分类问题，因为GMM本身具有聚类功能。这里要区别分类与聚类。

在无监督无训练条件的情况聚类，可以达到初分类的效果，如下图：这图若需删除请及时联系。

左图：单一高斯模型，右图：GMM

可以看到，GMM在单一高斯模型的基础上，把堆数据细分分成了三类，保留了这堆数据原有的信息。

相较单一高斯模型，GMM通过多模型可以更好的描述同一类别具有多种不同属性的情况（逼近多峰值曲线），有较好的数据分类能力。

高斯混合模型（GMM）浅入理解相关推荐

高斯混合模型GMM的理解
高斯混合模型(Gaussian Mixture Model,简称GMM)是用高斯概率密度函数(正态分布曲线)精确地量化事物,将一个事物分解为若干的基于高斯概率密度函数(正态分布曲线)形成的模型.通俗点 ...
EM算法应用：k均值聚类(k-means)和高斯混合模型(GMM)
文章目录 k-means聚类 EM角度的理解算法流程特点 k值选择局限性高斯混合模型 GMM的问题描述 1,明确隐变量 2.EM算法的E步:确定Q函数 3. EM算法的E步 4. 停止条件上 ...
混合高斯模型_大数据小白入门高斯混合模型(GMM)聚类算法
导读高斯混合模型(Gaussian Mixture Model)通常简称GMM,是一种业界广泛使用的聚类算法,属于生成式模型,它假设所有的数据样本都是由某一个给定参数的多元高斯分布所生成的.从中 ...
一维(多维)高斯模型（One(Multi)-dimensional Gaussian Model）高斯混合模型GMM（Gaussian Mixture Model）
一维高斯模型(One-dimensional Gaussian Model) 若随机变量X服从一个数学期望为,标准方差为的高斯分布,记为: x~N(,). 则概率密度函数为: 高斯分布的期望值决定了其 ...
ITK学习笔记（八） ITK高斯混合模型 GMM EM
ITK学习笔记(八) ITK高斯混合模型 GMM EM 1.高斯混合模型 2.变分贝叶斯高斯混合 3.ITK中的GMM.EM 1.高斯混合模型 sklearn.mixture是一个能够学习高斯混合模型 ...
高斯混合模型GMM、核心参数、高斯混合模型GMM的数学形式
高斯混合模型GMM.核心参数.高斯混合模型GMM的数学形式高斯混合模型GMM 混合模型是一个可以用来表示在总体分布(distribution)中含有 K 个子分布的概率模型,换句话说,混合模型表示了 ...
高斯混合模型--GMM（Gaussian Mixture Model）
参考:http://blog.sina.com.cn/s/blog_54d460e40101ec00.html 概率指事件随机发生的机率,对于均匀分布函数,概率密度等于一段区间(事件的取值范围)的概率 ...
高斯混合模型--GMM
原文:http://blog.sina.com.cn/s/blog_54d460e40101ec00.html 高斯混合模型--GMM(Gaussian Mixture Model) 统计 ...
单高斯分布模型GSM，高斯混合模型GMM
本文就高斯混合模型(GMM,Gaussian Mixture Model)参数如何确立这个问题,详细讲解期望最大化(EM,Expectation Maximization)算法的实施过程. 单高斯分布 ...
使用高斯混合模型(GMM)近似未知分布：EM算法的应用
该篇博客是对邱锡鹏老师<神经网络与深度学习>的学习笔记.在阅读本博文之前,建议读者先阅读上一篇博客EM算法. 高斯混合模型(Gaussian Mixture Model) 如果一个连续随机 ...

最新文章

热门文章