【数据挖掘】高斯混合模型 ( 模型简介 | 软聚类 | 概率作用 | 高斯分布 | 概率密度函数 | 高斯混合模型参数

文章目录

I . 高斯混合模型方法 ( GMM )
II . 硬聚类与软聚类
III . GMM 聚类结果概率的作用
IV . 高斯混合分布
V . 概率密度函数
VI . 高斯分布曲线 ( 仅做参考 )
VII . 高斯混合模型参数简介

I . 高斯混合模型方法 ( GMM )

1 . 高斯混合模型与 K-Means 相同点 : 高斯混合模型方法与 K-Means 方法 , 都是通过多次迭代 , 每次迭代都对聚类结果进行改进 , 最终达到算法收敛 , 聚类分组结果达到最优 ;

2 . 高斯混合模型与 K-Means 不同点 :

① K-Means 方法 : 使用 K-Means 方法的聚类结果是某个样本被指定到某个聚类分组中 ;

② 高斯混合模型 : 高斯混合模型的聚类分析结果是 , 某个样本 被分到了 某个聚类分组 中 , 但是除此之外还给出了 该样本属于该聚类 的概率 , 意思是 该样本并不是一定属于该聚类 , 而是有一定几率属于 ;

③ 高斯混合模型应用场景 : 高斯混合模型需要训练学习出概率密度函数 , 该方法除了用于聚类分析外 , 还可以用于密度估计等用途 ;

II . 硬聚类与软聚类

硬聚类与软聚类 :

① 硬聚类 (硬指派 ) : K-Means 方法中 , 每个数据集样本 , 都被指派了一个聚类分组 ;

② 软聚类 ( 软指派 ) : 高斯混合模型方法中 , 每个数据集样本 , 也都被指派了一个聚类分组 , 此外还指定了该样本属于该聚类分组的概率 , 即该样本不一定属于该聚类分组 , 有一定几率属于其他聚类分组 ;

③ 硬指派概率 : 硬指派中 , 样本如果属于某个聚类分组 , 就是 100% 属于 , 如果不属于某聚类 , 就是 0% 属于 , 没有概率的概念 ;

III . GMM 聚类结果概率的作用

1 . 概率信息 : 高斯混合模型方法的 聚类结果 附带 样本属于聚类的概率 , 其包含的信息量 远远高于 K-Means 方法的 单纯的样本聚类分组 ;

2 . 聚类概率 : 聚类算法并不是万能的 , 不能保证 100% 准确 , 这里可以将高斯混合模型 样本的聚类分组概率值 , 转为一个评分 , 用该评分表示聚类结果的准确性 ;

3 . 评分作用 : 同一个聚类分析 , 使用不同的方法 , 得到 多个结果 , 每个结果都有 聚类概率 转化的一个评分 , 可以将 聚类结果评分 最高的那个结果 当做 最终结果 ;

4 . 示例 : 疾病诊断场景 , 为病人样本进行聚类分组 , 最终结果是 49%49\%49% 的概率分到得病的聚类分组 , 51%51\%51% 分到不得病的聚类分组 , 如果靠机器判定该病人样本是否得病 , 风险太大了 , 这里保守的方法是计算机给出意见 , 但是不能下决定 , 让医生根据这个聚类和概率进行后续的诊断治疗工作 ;

IV . 高斯混合分布

高斯混合分布概念 : 高斯混合模型数据集样本服从高斯混合分布 ;

① 高斯分布 : 又叫正态分布 , 常态分布 ; 高斯分布曲线两头低 , 中间高 , 呈钟形 , 又叫钟形曲线 ;

② 高斯混合分布 : kkk 个高斯分布生成高斯混合分布 , 这里的 kkk 是聚类分组的个数 ;

V . 概率密度函数

概率密度函数 :

① 组件 ( 高斯分布 ) :每个高斯分布 , 都是一个组件 , 代表一个聚类分组中的样本分布 ;

② 组件叠加 ( 高斯混合分布 ) : kkk 个组件 ( 高斯分布 ) 线性叠加 , 组成了高斯混合模型的概率密度函数 ;

p(x)=∑i=1kωig(x∣μi,Σi)p(x) = \sum_{i = 1}^k \omega_i g ( x | \mu_i , \Sigma_i )p(x)=i=1∑kωig(x∣μi,Σi)

xxx 表示数据集样本中的单个样本数据对象 ;

ωi\omega_iωi 是权重系数 , 表示某个高斯模型的重要程度, 重要的分布 , ωi\omega_iωi 值大 , 不重要的分布 , ωi\omega_iωi 权重小 ;

ωi\omega_iωi 表示该 xxx 样本由第 iii 个高斯分布 ( 组件 ) 生成的概率 , 也就是该样本被指派到某个聚类的概率 ; iii 代表了高斯分布的序号 , 聚类分组的序号 , 组件的序号, 其取值范围是 0≤i≤k0 \, \leq i \leq \, k0≤i≤k ;

kkk 表示高斯分布 ( 正态分布 / 组件 ) 的个数 , 也是聚类分组的个数 , 每个聚类分组的样本都是高斯分布 ( 正态分布 ) 的 ;

g(x∣μi,Σi)g ( x | \mu_i , \Sigma_i )g(x∣μi,Σi) 是高斯模型的概率密度函数 ;

μi\mu_iμi 是高斯模型的均值 ;

Σi\Sigma_iΣi 是高斯模型的方差 ;

均值和方差唯一决定一个高斯模型 ( 正态分布 ) ;

VI . 高斯分布曲线 ( 仅做参考 )

高斯分布 : 高斯分布曲线是钟形曲线 , 中间的 μ\muμ 是其样本分布的均值 , 该值位置处的样本数最多 , σ\sigmaσ 是其样本的方差 , 这是 111 个标准的高斯分布的模型 ;

高斯混合模型 : 下图是多个高斯分布线性叠加后的曲线表示图 , 仅做参考 ;

VII . 高斯混合模型参数简介

1 . 模型与参数 : 高斯混合模型概率密度函数 :

p(x)=∑i=1kωig(x∣μi,Σi)p(x) = \sum_{i = 1}^k \omega_i g ( x | \mu_i , \Sigma_i )p(x)=i=1∑kωig(x∣μi,Σi)

模型结构已知 , 即高斯混合模型 , 需要根据已知的数据样本 , 学习出模型的参数 ;

2 . 高斯混合模型参数个数 :

① 聚类个数 ( 高斯模型个数 ) : 每个高斯混合模型都由 kkk 个高斯模型 ( 组件 ) 线性叠加组成的 ;

② 高斯模型参数 : 每个高斯模型都有两个参数 , 即均值 μi\mu_iμi , 方差 Σi\Sigma_iΣi ;

③ 样本属于聚类分组概率 ( 系数 ) : 每个高斯模型还有一个系数参数 , ωi\omega_iωi 表示该 xxx 样本由第 iii 个高斯分布 ( 组件 ) 生成的概率 , 也就是该样本被指派到某个聚类的概率 ;

④ 每个高斯模型相关参数个数 : kkk 个高斯模型 , 每个高斯模型有均值 μi\mu_iμi , 方差 Σi\Sigma_iΣi , 生成概率 ωi\omega_iωi 等 333个参数 ;

⑤ 高斯混合模型参数个数 : 整个高斯混合模型有 3×k3 \times k3×k 个参数 , kkk 是聚类分组个数 , 也是高斯模型个数 , 正态分布个数 ;

Σi\Sigma_iΣi 此处方差表示 , 是大写的希腊字母 sigma σ\sigmaσ , 注意与加和符号 ∑\sum∑ 区分 ;

K-Means 方法中 , 有 kkk 个参数 , 每个聚类分组 , 只有一个参数 , 即中心点样本参数 ;