【数据挖掘】高斯混合模型 ( 高斯混合模型参数 | 高斯混合模型评分函数 | 似然函数 | 生成模型法 | 对数似然函数

文章目录

I . 高斯混合模型参数简介 ( 参数 )
II . 高斯混合模型评分函数 ( 评价参数 )
III. 似然函数与参数
IV . 生成模型法
V . 对数似然函数
VI . 高斯混合模型方法步骤

I . 高斯混合模型参数简介 ( 参数 )

1 . 模型与参数 : 高斯混合模型概率密度函数 :

p(x)=∑i=1kωig(x∣μi,Σi)p(x) = \sum_{i = 1}^k \omega_i g ( x | \mu_i , \Sigma_i )p(x)=i=1∑kωig(x∣μi,Σi)

模型结构已知 , 即高斯混合模型 , 需要根据已知的数据样本 , 学习出模型的参数 ;

2 . 高斯混合模型参数个数 :

① 聚类个数 ( 高斯模型个数 ) : 每个高斯混合模型都由 kkk 个高斯模型 ( 组件 ) 线性叠加组成的 ;

② 高斯模型参数 : 每个高斯模型都有两个参数 , 即均值 μi\mu_iμi , 方差 Σi\Sigma_iΣi ;

③ 样本属于聚类分组概率 ( 系数 ) : 每个高斯模型还有一个系数参数 , ωi\omega_iωi 表示该 xxx 样本由第 iii 个高斯分布 ( 组件 ) 生成的概率 , 也就是该样本被指派到某个聚类的概率 ;

④ 每个高斯模型相关参数个数 : kkk 个高斯模型 , 每个高斯模型有均值 μi\mu_iμi , 方差 Σi\Sigma_iΣi , 生成概率 ωi\omega_iωi 等 333个参数 ;

⑤ 高斯混合模型参数个数 : 整个高斯混合模型有 3×k3 \times k3×k 个参数 , kkk 是聚类分组个数 , 也是高斯模型个数 , 正态分布个数 ;

Σi\Sigma_iΣi 此处方差表示 , 是大写的希腊字母 sigma σ\sigmaσ , 注意与加和符号 ∑\sum∑ 区分 ;

K-Means 方法中 , 有 kkk 个参数 , 每个聚类分组 , 只有一个参数 , 即中心点样本参数 ;

II . 高斯混合模型评分函数 ( 评价参数 )

高斯混合模型评分函数 :

评价参数 : 为 高斯混合模型 学习训练出的参数 , 需要 评分函数 来 对参数进行评价 , 评分函数取值最大 时 , 该 参数是最优参数 ;

似然函数 : 高斯混合模型中 , 采用似然函数 , 作为评分函数 ;

E=∏j=1np(xj)E = \prod_{j = 1} ^ n p(x_j)E=j=1∏np(xj)

∏\prod∏ 是多个乘积 , 与 ∑\sum∑ 多个加和性质类似 ;

nnn 表示数据集中样本个数 ;

xjx_jxj 表示数据样本对象 , 被聚类的样本点 ;

p(xj)p(x_j)p(xj) 表示高斯混合模型中 , xjx_jxj 生成的概率 , 也就是 xjx_jxj 被分为某个聚类分组的概率 ;

评分函数 ( 似然函数 ) 取值最大时 , 高斯混合模型的参数最佳 , 使用该高斯混合模型 , 和对应的概率 ωi\omega_iωi , 均值 μi\mu_iμi , 方差 Σi\Sigma_iΣi 参数生成样本数据时 , 与真实的数据集样本相似的概率最大 ;

III. 似然函数与参数

似然函数与参数 :

① 模型生成样本概率 : 如果模型参数非常好 , xjx_jxj 生成的概率 , 也就是 xjx_jxj 属于某个聚类分组的概率是 100%100\%100% , 此时 p(xj)=1p(x_j) = 1p(xj)=1 ; 如果 xjx_jxj 属于某个聚类分组的概率是 73%73\%73% , 此时 p(xj)=0.73p(x_j) = 0.73p(xj)=0.73

② 最佳概率 : 极限情况下 , 所有的样本属于某个聚类分组的概率都是 100%100\%100% , 每个 p(xj)=1p(x_j) = 1p(xj)=1 , nnn 个 p(xj)p(x_j)p(xj) 相乘也是 111 , 该似然函数取值为 111 是理论情况的最佳值 ;

③ 最大似然 : 该似然函数的本质是将每个对象属于某聚类分组的概率相乘 , EEE 越接近于 111 , 参数效果越好 , 此时的 EEE 称为最大似然 ;

IV . 生成模型法

生成模型法 : 先不看真实数据 , 先用模型 ( 参数已经训练好 ) 生成数据 , 希望这个模型生成的数据 , 与真实数据是完全相同的 , 如果生成的数据 , 与真实的数据 , 全部完全相同 , 那么分析似然函数的

E=∏j=1np(xj)E = \prod_{j = 1} ^ n p(x_j)E=j=1∏np(xj)

乘积 , 其中 p(xj)=1p(x_j) = 1p(xj)=1 , 似然函数计算过程就是 nnn 个 111 相乘 , 其结果是 111 ;

但是实际结果肯定不是这样的 , 每个样本的概率 p(xj)p(x_j)p(xj) 可能是 0.90.90.9 , 0.50.50.5 , 0.010.010.01 , 这样乘起来值就非常小了 , 参数和模型的评价结果就是这个最终的乘积越大 , 模型和参数越好 ;

V . 对数似然函数

1 . 似然函数 : E=∏j=1np(xj)E = \prod_{j = 1} ^ n p(x_j)E=j=1∏np(xj) 是多个 p(xj)p(x_j)p(xj) 相乘 , 每个 p(xj)p(x_j)p(xj) 值都是小于 111 的数 , 多个小于 111 的数值相乘 , EEE 的最终计算的值非常小 , 不利于统计计算 ;

2 . 对数运算法则 :

① 两个正数之积的对数 , 等于两个正数对数之和 ;

loga(M×N)=logaM+logaNlog_a ( M \times N ) = log_a M + log_a Nloga(M×N)=logaM+logaN

② 两个正数相除的对数 , 等于两个正数对数相减 ;

loga(MN)=logaM−logaNlog_a ( \frac{M}{N}) = log_a M- log_a Nloga(NM)=logaM−logaN

3 . 对数似然函数 : 对上述似然函数取对数 , 就可以将成绩 ∏\prod∏ 变成求和 ∑\sum∑ 形式 ;

F=logE=log(∏j=1np(xj))\begin{array}{lcl} F &=& logE = log( \prod_{j = 1} ^ n p(x_j) )\\\\ \end{array}F=logE=log(∏j=1np(xj))

F=∑j=1nlogp(xj)F = \sum_{j=1}^n logp(x_j)F=j=1∑nlogp(xj)

该函数就是对数似然函数 ;

4 . 对数函数最大值 :

① 无法使用导数 : 对数函数是求和的操作 , 因此该函数无法使用导数方式求最大值 ;

② 迭代求最大值 : 采用逐次迭代 , 的方式求最大值 , 与 K-Means 方法类似 ;

③ 第一次迭代的参数值 : kkk 个概率 ωi\omega_iωi , 均值 μi\mu_iμi , 方差 Σi\Sigma_iΣi 参数 , 任意选取 , 随便给出 ;

④ 逐次迭代 : 每次迭代 , 逐步优化这些参数值 , 使 对数似然函数 取值越来越大 ;

⑤ 最佳参数 : 当对数似然函数取最大值时 , 此时的参数就是最优参数 ;

VI . 高斯混合模型方法步骤

1 . 参数初始值设置 :

① 初始状态 ( 第一次迭代 ) : 先给出 kkk 组参数的初始值 , 每组参数由概率 ωi\omega_iωi , 均值 μi\mu_iμi , 方差 Σi\Sigma_iΣi 组成 , 参数个数是 3×k3 \times k3×k 个 ;

② 聚类分组个数 : kkk 指的是聚类分组的个数 ;

③ 概率 ωi\omega_iωi 参数 : 指样本属于某组聚类的概率 ;

④ 均值 μi\mu_iμi 参数 : 指的是某组聚类分组的样本高斯分布 ( 正态分布 ) 的均值参数 ;

⑤ 方差 Σi\Sigma_iΣi 参数 : 指的是某组聚类分组的样本高斯分布 ( 正态分布 ) 的方差参数 ;

2 . 计算概率 :

数据集和分组情况 : 数据集有 nnn 个对象 , 将这 nnn 个对象分成 kkk 个聚类分组 ;

计算的概率 : 这里需要计算每个对象 xj(1≤j≤n)x_j \, (1 \leq j \leq n)xj(1≤j≤n) 属于每个聚类 Ci(1≤i≤k)C_i \, (1 \leq i \leq k)Ci(1≤i≤k) 的概率 , 需要计算 n×kn \times kn×k 次概率 ;

概率说明 : xj(1≤j≤n)x_j \, (1 \leq j \leq n)xj(1≤j≤n) 属于聚类 Ci(1≤i≤k)C_i \, (1 \leq i \leq k)Ci(1≤i≤k) 的概率 , 反过来说 , 就是 xjx_jxj 样本对象由 CiC_iCi 聚类分组对应的高斯分布生成的概率 ;

计算公式 :

p(xi∈Ci)=ωig(x∣μi,Σi)∑i=1kωig(x∣μi,Σi)p(x_i \in C_i) = \dfrac{\omega_i g ( x | \mu_i , \Sigma_i )}{ \sum_{i=1}^{k} \, \omega_i g ( x | \mu_i , \Sigma_i ) }p(xi∈Ci)=∑i=1kωig(x∣μi,Σi)ωig(x∣μi,Σi)

如果本次迭代是第一次迭代 , 那么上述式子中的参数采用初始参数设置的值 ;

如果本次迭代不是第一次迭代 , 那么采用上一次迭代得到的参数值 ;

3 . 计算参数值 : 计算概率 ωi\omega_iωi , 均值 μi\mu_iμi , 方差 Σi\Sigma_iΣi 参数 ;

① 概率 ωi\omega_iωi 参数计算公式 : 指样本属于某组聚类的概率 ;

ωi=nin\omega_i = \frac{n_i}{n}ωi=nni

② 均值 μi\mu_iμi 参数计算公式 : 指的是某组聚类分组的样本高斯分布 ( 正态分布 ) 的均值参数 ;

μi=1ni∑j=1np(xj∈Ci)xj\mu_i = \frac{1}{n_i} \sum_{j=1} ^n p(x_j \in C_i) x_jμi=ni1j=1∑np(xj∈Ci)xj

③ 方差 Σi\Sigma_iΣi 参数计算公式 : 指的是某组聚类分组的样本高斯分布 ( 正态分布 ) 的方差参数 ;

μi=1ni∑j=1np(xj∈Ci)(xj−μi)(xj−μi)T\mu_i = \frac{1}{n_i} \sum_{j=1} ^n p(x_j \in C_i) \,( x_j - \mu_i ) ( x_j - \mu_i ) ^Tμi=ni1j=1∑np(xj∈Ci)(xj−μi)(xj−μi)T

迭代执行 2 , 3 操作 , 直到评分函数达到最大值 ;