一. 例子讲解

假设有两个硬币1和2，随机抛出后出现正面概率为

• 硬币1-->(3正2反)；硬币2-->(2正3反)；硬币3-->(1正4反)；银币4-->(3正2反)；银币5-->(2正3反)

很容易计算硬币1正面

假如我们不知道选出的是哪个银币，还需要计算出

• ?-->(3正2反)；?-->(2正3反)；?-->(1正4反)；?-->(3正2反)；?-->(2正3反)

对每个问号编个号(

先随机初始化一个

初始设

• 硬币1概率:0.00512,硬币2概率:0.03087-->(3正2反)； 硬币1概率:0.02048,硬币2概率:0.01323-->(2正3反)； 硬币1概率:0.08192,硬币2概率:0.00567-->(1正4反)； 硬币1概率:0.00512,硬币2概率:0.03087-->(3正2反)；硬币1概率:0.02048,硬币2概率:0.01323-->(2正3反)；

每个取硬币1或2出现最大的最大的概率，则此时

我们使用所有的z值计算，根据上述数据，可算出z值对应的

• :0.14,
  -->(3正2反)；
  :0.61,
  -->(2正3反)；
  :0.94,
  -->(1正4反)；
  :0.14,
  -->(3正2反)；
  :0.61,
  -->(3正2反)。

计算在硬币1 条件下正方面分布，如：

此时算出的值，更接近真实值0.4。

二. 算法过程

2.1 Jensen不等式

当函数满足凸函数（存在局部极小值），则有

2.2 算法推导

有观测变量数据Y（上例中正反面结果），隐藏变量Z(上例中硬币1硬币2)，求分布

运用Jensen不等式（上图画的），

公式1有：

其中当满足

则有

接下来求

2.3 EM算法收敛性

要证明算法收敛，其实是证明

有

则

三. 高斯混合模型

离散随机变量期望：

连续随机变量的期望：

方差定义：

，期望的表示方式为：

协方差定义：

，

表示两个变量空间。用期望的表示方式为：

，两个变量独立协方差为0。 协方差矩阵：

多维高斯密度公式：

；

表示纬度维

的向量，

各纬度向量的平均值，

所有向量

协方差矩阵。

如下图所示，有观测样本数据

从几何意义理解，高斯混合模型就是多个独立高斯分布按照权重叠加的模型，其分布模型公式记为:

根据EM算法，z的分布是离散分布：

有

四. python例子

还是代码简单，高斯混合模型的预测，详情看示范例子：

https://github.com/zx3305/tennis/blob/master/em/main.py​github.com

参考资料：

机器学习之最大期望(EM)算法_谓之小一-CSDN博客_最大期望算法

https://blog.csdn.net/lin_limin/article/details/81048411

多维高斯分布 - jermmyhsu - 博客园

https://www.bilibili.com/video/BV13b411w7Xj

https://www.bilibili.com/video/BV1qW411k7ao?p=3