次模优化·第〇集：简介

现如今，机器（深度）学习如此火热。

我准备进行基于《Learning with submodular functions: A convex optimization perspective》的学习。ps：搞点理论，为将来的模型求解铺道路。

Bach F. Learning with submodular functions: A convex optimization perspective[J]. Foundations and Trends® in Machine Learning, 2013, 6(2-3): 145-373.

次模函数与机器学习相关至少有两个原因：

（1）一些问题可以直接表示为次模函数的优化;

（2）次模函数的Lovász扩展为监督和无监督学习提供了一组有用的正则化函数。

在这本专著中，我们从凸分析的角度提出了次模函数的理论，提出了某些多面体，组合优化和凸优化问题之间的紧密联系。

特别地，我们展示了次模函数最小化如何等效于解决各种凸优化问题。

这允许推导出用于近似和精确的次模函数最小化的新的有效算法，具有理论保证和良好的实际性能。

通过列出次模函数的许多示例，我们回顾了机器学习的各种应用，例如聚类，实验设计，传感器放置，图形模型结构学习或子集选择，以及可以派生的一系列结构化稀疏诱导范式并用于次模函数。

次模优化·第〇集：简介相关推荐

VEGA：诺亚AutoML高性能开源算法集简介
摘要:VEGA是华为诺亚方舟实验室自研的全流程AutoML算法集合,提供架构搜索.超参优化.数据增强.模型压缩等全流程机器学习自动化基础能力. 本文分享自华为云社区<VEGA:诺亚AutoML高 ...
HyperMesh 实用教程（〇）简介
Blog Links DalNur | 博客总目录 HyperMesh 实用教程(〇)简介 HyperMesh 实用教程(一)组件一.前言 HyperMesh 是一款多学科有限元前处理软件,由 ...
(转)Apache Commons工具集简介
(转)Apache Commons工具集简介 Apache Commons包含了很多开源的工具,用于解决平时编程经常会遇到的问题,减少重复劳动.我选了一些比较常用的项目做简单介绍.文中用了很多网上现成 ...
UA SIE545 优化理论基础4 对偶理论简介6 求解对偶问题的梯度算法
UA SIE545 优化理论基础4 对偶理论简介6 求解对偶问题的梯度算法这一讲我们介绍求解对偶问题的另一个算法--梯度算法(gradient method). 假设原问题为 min⁡x∈Xf(x) ...
UA SIE545 优化理论基础4 对偶理论简介4 求解对偶问题的割平面算法
UA SIE545 优化理论基础4 对偶理论简介4 求解对偶问题的割平面算法这一讲我们介绍一个求解对偶问题的算法--割平面算法(cutting plane algorithm). 假设原问题为 mi ...
UA SIE545 优化理论基础4 对偶理论简介3 强对偶
UA SIE545 优化理论基础4 对偶理论简介3 强对偶上一讲介绍了弱对偶,弱对偶满足 inf⁡{f(x):x∈X,g(x)≤0,h(x)=0}≥sup⁡{θ(u,v):u≥0}\inf\{f(x ...
UA SIE545 优化理论基础4 对偶理论简介5 对偶的几何解释
UA SIE545 优化理论基础4 对偶理论简介5 对偶的几何解释前四讲我们建立了弱对偶与强对偶的概念与理论,这一讲我们试图从直观上理解对偶. 强对偶的几何解释考虑下面的优化 min⁡(x−2)2 ...
UA SIE545 优化理论基础4 对偶理论简介2 弱对偶与Duality Gap
UA SIE545 优化理论基础4 对偶理论简介2 弱对偶与Duality Gap 上一讲我们定义了Lagrange对偶,这一讲我们介绍第一个重要结论--弱对偶定理(Weak duality theo ...
UA SIE545 优化理论基础4 对偶理论简介1 松弛问题与Lagrange对偶
UA SIE545 优化理论基础4 对偶理论简介1 松弛问题与Lagrange对偶优化理论基础第四部分介绍对偶问题(Dual problem)及其简单性质,是对偶理论的入门,后续章节会更深入地讨论对 ...
Python：列表、集合等交集、并集、差集、非集简介及其代码实现之详细攻略
Python:列表.集合等交集.并集.差集.非集简介及其代码实现之详细攻略目录列表.集合等交集.并集.差集.非集简介及其代码实现之详细攻略 1.交集:A & B & C & ...

次模优化·第〇集：简介

次模优化·第〇集：简介相关推荐

最新文章

热门文章