EM算法 --入门级详解

2024-04-25 07:55:09

一：EM算法简介

EM算法简单来说就是一种迭代优化策略，由于它的计算方法中每一次迭代都分两步，其中一个为求期望步（E步），另一个为求极大值步M步），所以算法被称为EM算法（Expectation Maximization
Algorithm）。EM算法适用于求解那些含有隐变量的问题，也就是说你待求解的样本中含有无法观测到的记录值。要学习EM算法，我们需要先了解两个概念：极大似然估计和Jensen不等式。

二：极大似然估计

首先来了解一下极大似然估计。这个时候就需要小明友情客串一下了。假如小明今年刚考入大学，他在校园里闲逛，发现从身边经过的每十个人里有八个都是女生，他就想说：妥了，我指定能找到女朋友！那为什么小明会产生“能找到女朋友”这样的想法呢？其实这里就用到了极大似然估计的思想——根据观测到的样本结果推测使该结果出现的最大可能。也就是说，我们可以把极大似然看作一个反推，即根据结果推算使该结果出现的可能性最大的条件。
再举一个例子：现在我们从学校为数不多的男生中随机抽取100个男生，加入这些男生的身高服从同一个高斯分布：X~N（ u, ∂ ）。分别记录他们的身高数据为X={x1,x2,x3,…,x100}，但是我们不知道他们身高服从的高斯模型的参数是多少，所以我们的目标就是求解参数：θ=[u, ∂]T。在这里我们记抽到第i个男生身高的概率为

EM算法 --入门级详解相关推荐

【算法思想：回溯法】回溯算法入门级详解
回溯法是一种非常重要的算法思想,在大厂面试中频繁出现,所以做了一个笔记,记录了一下. 回溯算法与深度优先遍历以下是维基百科中「回溯算法」和「深度优先遍历」的定义. 回溯法采用试错的思想,它尝试分步 ...
C++ STL【常用算法】详解
大家好,欢迎来到STL[常用算法]详解模块,本文将对STL中常见但又高频的算法进行一个详细又简单的入门级教学
CRF(条件随机场)与Viterbi(维特比)算法原理详解
摘自:https://mp.weixin.qq.com/s/GXbFxlExDtjtQe-OPwfokA https://www.cnblogs.com/zhibei/p/9391014.html C ...
算法：详解布隆过滤器的原理、使用场景和注意事项@知乎.Young Chen
算法:详解布隆过滤器的原理.使用场景和注意事项@知乎.Young Chen 什么是布隆过滤器本质上布隆过滤器是一种数据结构,比较巧妙的概率型数据结构(probabilistic data struc ...
JavaScript 面试中常见算法问题详解
JavaScript 面试中常见算法问题详解,翻译自 https://github.com/kennymkchan/interview-questions-in-javascript.下文提到的很多问 ...
TOPSIS(逼近理想解)算法原理详解与代码实现
写在前面: 个人理解:针对存在多项指标,多个方案的方案评价分析方法,也就是根据已存在的一份数据,判断数据中各个方案的优劣.中心思想是首先确定各项指标的最优理想值(正理想值)和最劣理想值(负理想解),所 ...
JavaScript数据结构与算法——链表详解（下）
在JavaScript数据结构与算法--链表详解(上)中,我们探讨了一下链表的定义.实现原理以及单链表的实现.接下来我们进一步了解一下链表的其他内容. 1.双向链表双向链表实现原理图: 与单向链表不 ...
JavaScript数据结构与算法——链表详解（上）
注:与之前JavaScript数据结构与算法系列博客不同的是,从这篇开始,此系列博客采用es6语法编写,这样在学数据结构的同时还能对ECMAScript6有进一步的认识,如需先了解es6语法请浏览ht ...
JavaScript数据结构与算法——队列详解（下）
接下来会借助本人另一篇文章JavaScript数据结构与算法--队列详解(上)中实现的队列类及其方法实现一个应用. 配对问题需求分析:在一个文件中保存着一份男女混合的数据,名称前以B开头表示男士,以 ...
JavaScript数据结构与算法——列表详解（下），基于Nodejs实现一个列表应用
1.上篇回顾: 上篇我们实现了一个列表类,并添加了一些属性,实现了比较多的方法,本文章将与大家一起使用列表实现一个图书借阅查询系统.需要使用JavaScript数据结构与算法--列表详解(上)中写好的 ...

最新文章

热门文章