1、知道先验概率和后验概率

先验概率（prior probability）是指根据以往经验和分析得到的概率（理解为自定义概率）。而后验概率是在考虑了一个事实之后的条件概率。

2、了解高斯混合模型GMM

EM是K-means的推广
以下的两个问题都是属于无监督学习（对于不知道样本数的问题，采用EM算法）

高斯混合模型GMM：随机变量x由k个高斯分布混合而成。
GMM参数估计的理解（相当于由变量x的一部分样本进而去估计对应的x发生的概率以及均值μ和方差）

3、通过最大似然估计推导EM算法的过程的实例

首先知道最大似然估计：多个事件同事发生的概率。
由身高体重推测男女的例子（参考下图理解）
1、先对给定的一组数据Xi假设初始自定义的均值μ和方差σ，以及对应的分类概率（即使男性、女性的概率是多大）
2、代入对应的高斯密度函数得到对应的概率密度值
3、由对应的概率密度值以及对应的分类概率求的条件概率（即如1.88是男性的概率是多少）
4、重复以上步骤求其他组对应的条件概率的值。（高斯混合分布）
5、将所有组得到的数据做条件概率的值乘以数据的操作（如1.88乘以0.67）得到整个样本对应的均值μ和方差σ（注意计算均值时对应的除数N代表的是条件概率0.67等的加和）
6、将计算得到的均值和方差不断的迭代，直到稳定为止。

不断迭代最终直到μ和σ达到稳定值

下图中所说的概率的加和代表的是0.67+0.4+…即对应身高是男性的概率得到最终的N男

掌握每个组份的参数公式对应的含义

4、EM算法

x对应的是数据，z代表的是隐变量如类别（男、女性）。

θ代表未知变量如π、μ、σ
除了想估计x还想估计z（这个z代表的是隐随机变量，p代表估计1.88是男性的概率；x代表的是1.88，男性代表的z）

整个过程其实就由求f(θ)转化为求r函数（下界函数）的极值（减小了参数个数），直到r函数极值等于f函数的值。
当θ0处两个函数相等，这时候求r函数的极值处θ1，这时候若r函数小，则再固定z选取一条新的函数r1函数在θ1处等于p函数，接着再求r1函数的极值…以此类推。（固定θ找z，再固定z找θ依次类推直到找到稳定的值）

E步骤：Q对应于实例已知θ求1.88条件下是男性的条件概率的值。
M步骤：θ代表的加权后求得的均值μ和方差σ。
整个过程就相当于固定θ（初始给定的值）求Q（Q代表对应的1.88条件下是男性的概率），固定Q（知道这组数据对应的条件概率的值）求θ（求的对应的μ和σ2）…不断重复直到结果稳定（Q可以看做是对应的下界函数）

5、知道pLSA模型

机器学习之EM算法的原理推导及相关知识总结相关推荐

机器学习之聚类算法的原理推导及相关知识总结
文章目录 1.知道几个关于"差"的概念 2.理解相似度度量的各种方法和相互关系 2.1.欧氏距离 2.2.jaccard相似系数 2.3.余弦相似度 2.4.Pearson相似系数 ...
EM算法的原理推导及解释
文章目录 EM算法的原理推导及解释前置知识:极大似然估计(Maximum Likelihood) 核心部分:期望最大化算法(Expectation Maximum) 实例:EM求解"三硬币 ...
机器学习之EM算法的原理及推导(三硬币模型)及Python实现
EM算法的简介 EM算法由两步组成:E步和M步,是最常用的迭代算法. 本文主要参考了李航博士的<统计学习方法> 在此基础上主要依据EM算法原理补充了三硬币模型的推导. 1.EM算法的原理 ...
机器学习之凸优化原理推导及相关知识总结
文章目录目录 1.了解凸集和仿射集的基本概念. 2.知道几何体的向量表达. 3.了解超平面和半空间的概念. 4.了解分割超平面和支撑超平面的含义. 5.知道jensen不等式. 6.掌握知识:凸函数 ...
em算法怎么对应原有分类_机器学习基础-EM算法
EM算法也称期望最大化(Expectation-Maximum,简称EM)算法,它是一个基础算法,是很多机器学习领域算法的基础,比如隐式马尔科夫算法(HMM), LDA主题模型的变分推断等等.本文就对 ...
layer output 激活函数_一文彻底搞懂BP算法：原理推导+数据演示+项目实战（下篇）...
在"一文彻底搞懂BP算法:原理推导+数据演示+项目实战(上篇)"中我们详细介绍了BP算法的原理和推导过程,并且用实际的数据进行了计算演练.在下篇中,我们将自己实现BP算法(不使用第 ...
一文彻底搞懂BP算法：原理推导+数据演示+项目实战（下篇）
在"一文彻底搞懂BP算法:原理推导+数据演示+项目实战(上篇)"中我们详细介绍了BP算法的原理和推导过程,并且用实际的数据进行了计算演练.在下篇中,我们将自己实现BP算法(不使用第 ...
Adaboost算法的原理推导及解释
文章目录 Adaboost算法的原理推导及解释前置知识:Boosting概述 Boosting方法的基本思想 Boosting方法的的学习方法核心部分:Adaboost算法的原理推导和解释 Ada ...
https ssl证书的工作原理及使用相关知识收集
https ssl证书的工作原理及使用相关知识收集 SSL 与数字证书的基本概念和工作原理前言 SSL是让人头大的东西,看起来很复杂,我学过信息安全课,但是对SSL仍然是模糊一片.对于数字证书也 ...

机器学习之EM算法的原理推导及相关知识总结

文章目录