MM(Majorize-Minimization, Minorize-Maximization)优化方法

2024-06-01 08:28:31

学习笔记
转载自：https://www.cnblogs.com/qiuhlee/p/9298877.html

MM算法思想

MM算法是一种迭代优化方法，它利用函数的凸性来找到原函数的最大值或最小值。当原目标函数f(θ)f(θ)f(θ)较难优化时，算法不直接对原目标函数求最优解，而去求解逼近于原目标函数的一个易于优化的目标函数g(θ)g(θ)g(θ)，通过对这个替代函数求解，使得g(θ)g(θ)g(θ)的最优解逼近于f(θ)f(θ)f(θ)的最优解。每迭代一次，根据所求解构造用于下一次迭代的新的替代函数，然后对新的替代函数最优化求解得到下一次迭代的求解。通过多次迭代，可以得到越来越接近目标函数最优解的解。

MM代表“Majorize-Minimization”或“Minorize-Maximization”，取决于所需的优化是最大化还是最小化。

Majorize-Minimization：每次迭代找到原非凸目标函数的一个上界函数，求上界函数的最小值。
Minorize-Maximization：每次迭代找到原非凸目标函数的一个下界函数，求下界函数的最大值。

以Minorize-Maximization为例, 使目标函数f(θ)f(θ)f(θ)最大化。

在算法的第m(m=0,1...)m(m=0,1...)m(m=0,1...)步，若满足以下条件，则目标函数f(θm)f(θ_m)f(θm)可用构造函数gm(θm)g_m(θ_m)gm(θm)代替:
condition1:gm(θ)≤f(θm)∀θcondition2:gm(θm)=f(θm)condition \; 1: \; g_m(\theta) \le f(\theta_m) \; \forall \theta \\ condition \; 2: g_m(\theta_m) = f(\theta_m) condition1:gm(θ)≤f(θm)∀θcondition2:gm(θm)=f(θm)

MM算法步骤

使m=1m=1m=1，并初始化θ0{\theta}_0θ0。
构造gm(θ)g_m(θ)gm(θ)满足条件(1)和(2)。
令θm+1=argmin⁡θgm(θ)θ_{m+1} = arg \min_θ g_m(θ)θm+1=argminθgm(θ)。
使m=m+1m=m+1m=m+1，返回步骤2。

θm\theta_mθm和目标函数的替代函数的迭代步骤如下图所示：

EM算法

期望最大化(EM)算法可以被视为MM算法的特殊情况，在机器学习中经常用到。MM算法与EM算法有联系但是又有区别，在EM算法中通常涉及条件期望，而在MM算法中，凸性和不等式是主要焦点。

MM(Majorize-Minimization, Minorize-Maximization)优化方法相关推荐

干货！TPAUC指标的end-to-end 优化方法
点击蓝字关注我们 AI TIME欢迎每一位AI爱好者的加入! 近日,由阿里安全和中科院合作的论文<When All We Need is a Piece of the Pie: A Gener ...
ONNX 实时graph优化方法
ONNX 实时graph优化方法 ONNX实时提供了各种图形优化来提高模型性能.图优化本质上是图级别的转换,从小型图简化和节点消除,到更复杂的节点融合和布局优化. 图形优化根据其复杂性和功能分为几个类 ...
普通粒子群算法和优化方法
粒子群优化(PSO, particle swarm optimization) 是由Kennedy和Eberhart在1995年提出的一种群智能优化方法. 优点:好理解容易实现,适合解决极值问题缺 ...
大主子表关联的性能优化方法
[摘要] 主子表是数据库最常见的关联关系之一,最典型的包括合同和合同条款.订单和订单明细.保险保单和保单明细.银行账户和账户流水.电商用户和订单.电信账户和计费清单或流量详单.当主子表的数据量较大时, ...
Mysql备份与还原及优化方法
Mysql备份一般采用mysqldump命令,命令形式一般如下: $ mysqldump –hhostname –uuser –ppassword–Pport db_name > db_name ...
论文：贝叶斯优化方法和应用综述（1）--------陈述设计类问题举例子，与 model-free优化计算的对比
陈述: 就是想看一下贝叶斯学派的陈述,从不同的学派的对比,看看有什么优缺点,然后自己思考下. 摘要: 通过设计恰当的概率代理模型和采集函数,贝叶斯优化框架只需经过少数次目标函数评估即可获得理 ...
机器学习调参自动优化方法
本文旨在介绍当前被大家广为所知的超参自动优化方法,像网格搜索.随机搜索.贝叶斯优化和Hyperband,并附有相关的样例代码供大家学习. 一.网格搜索(Grid Search) 网格搜索是暴力搜索,在 ...
机器学习中的优化方法小结
来源|福大命大@知乎,https://zhuanlan.zhihu.com/p/158215009 前几天听了林宙辰老师的一个报告,讲的是机器学习中的优化方法[1],做个笔记.推荐机器学习的人去听听. ...
直接对梯度下手，阿里达摩院提出新型优化方法，一行代码即可替换现有优化器...
来源:机器之心本文约3284字,建议阅读8分钟. 本文介绍阿里达摩院的研究者另辟蹊径,直接对梯度下手,提出全新的梯度中心化方法.只需一行代码即可嵌入现有的 DNN 优化器中,还可以直接对预训练模型进 ...

最新文章

热门文章