正文

本文先说求偏导过程，再说F函数，最后谈谈为什么是“极大-极大算法”（两个极大各自是什么）。

求偏导

一、先说求偏导。这块内容其实有很大跳步，卡这半天，刚终于懂了，附上我的手写内容（我猜有人在疑惑为什么求导结果中不含Σ\SigmaΣ?）：

⚠️下图有一处修改：（9.35）之后的两行手写中，第二行的logP(Y,Z∣θ)logP(Y,Z|\theta)logP(Y,Z∣θ)改成logP(Y,Zi∣θ)logP(Y,Z_i|\theta)logP(Y,Zi∣θ)
⚠️下图一处补充：EP∼logP∼(Z)=Σi=1nlog{P∼(Zi)}⋅P∼(Zi)E_P^\sim log_P^\sim(Z)=\Sigma_{i=1}^n log\{_P^\sim(Z_i)\}·_ P^\sim(Z_i)EP∼logP∼(Z)=Σi=1nlog{P∼(Zi)}⋅P∼(Zi)

F函数

二、再说这个函数F，看见上图的引理9.2没？当F取极大时，碰巧就是上图式（9.36），而对这个式子，求 θ\thetaθ 使其极大，不就是EM算法要干的事情了么。

两个“极大”

三、多说一句，为什么是“极大-极大算法”，为什么是两个“极大”，第一个极大，固定 θ\thetaθ ，求 P∼_P^\simP∼ 得到上图式（9.36）；第二个极大，就是对（9.36）固定 P∼_P^\simP∼，求 θ\thetaθ 得到极大，而这第二个极大，正是在本章开篇的三硬币问题中所讲述的、EM算法要解决的问题（见第二版p176式（9.4））。看到这里，再补两张图，希望能帮到读者：

EM算法为什么可视为F函数的极大-极大算法？相关推荐

matlab中sqp的算法原理_利用fmincon函数中的SQP算法求解非线性规划问题，模型本身.......
本人利用matlab里的fmincon函数求解一个优化问题,主函数: clc clear all lb=[3 0 0 1 0 0 1 0 0 1 0 0 1 0 0 1]; ub=[3 5 5 4 5 ...
opencv 凸包convexHull、道格拉斯-普克算法Douglas-Peucker algorithm、approxPloyDP 函数
凸包convexHull.道格拉斯-普克算法Douglas-Peucker algorithm.approxPloyDP 函数道格拉斯-普克算法(Douglas–Peucker algorithm) ...
F函数的极大极大算法
F函数中的F应该是(free energy)的缩写,这个函数可以帮我们换一个思路理解EM算法: EM算法中总有一个Q函数,在证明过程中有一些地方不是很形象,如果用F函数极大极大算法可以比较好的理解.本 ...
openCV中的findHomography函数分析以及RANSAC算法的详解（源代码分析）
本文将openCV中的RANSAC代码全部挑选出来,进行分析和讲解,以便大家更好的理解RANSAC算法.代码我都试过,可以直接运行. 在计算机视觉和图像处理等很多领域,都需要用到RANSAC算法.op ...
Python数模笔记-模拟退火算法（1）多变量函数优化
1.模拟退火算法模拟退火算法借鉴了统计物理学的思想,是一种简单.通用的启发式优化算法,并在理论上具有概率性全局优化性能,因而在科研和工程中得到了广泛的应用. 退火是金属从熔融状态缓慢冷却.最终达到能 ...
isfile方法_递归算法是一种直接或者间接调用自身函数或者方法的算法
http://blog.csdn.NET/wangjinyu501/article/details/8248492 原版一.基本概念递归算法是一种直接或者间接调用自身函数或者方法的算法.Java递 ...
遗传算法和免疫算法结合用MTALB解决函数极值问题
摘要免疫算法是模仿生物免疫机制,结合基因的进化机理,人工构造出的一种新型智能优化算法,因而具有一般免疫系统的特征.免疫算法那具有自适应性.随机性.并行性.全局收敛性.种群多样性等特点.相比于其他算法 ...
matlab中求分段函数的分段点,matlab求解分段函数问题是如何用下面的算法求解下面的分段函数爱问知识人...
问题是如何用下面的算法求解下面的分段函数,目前出现的问题是:??? Error using ==> at 11Function 'gt' is not implemented for MuPAD ...
基于距离浓度的人工免疫算法（DCAIA）求函数最值（python实现）
文章目录基于距离浓度的人工免疫算法(DCAIA)求函数最值(python实现) 一.免疫算法理论二.基于距离浓度算法的免疫机理三.免疫算法对应关系四.免疫算法算子五.python实例例(1 ...

EM算法为什么可视为F函数的极大-极大算法？

读前须知

正文

求偏导

F函数

两个“极大”

EM算法为什么可视为F函数的极大-极大算法？相关推荐

最新文章

热门文章