文章作者：乔杰
责任编辑：苏向阳
本文转载自知乎专栏 贪婪算法有多好？Submodularity告诉你
原文链接：https://zhuanlan.zhihu.com/p/52512602
文章发表于微信公众号【运筹OR帷幄】：优化 | 贪婪算法有多好？Submodularity告诉你欢迎原链接转发，转载请私信@运筹OR帷幄获取信息，盗版必究。
敬请关注和扩散本专栏及同名公众号，会邀请全球知名学者发布运筹学、人工智能中优化理论等相关干货、知乎Live及行业动态
更多精彩文章，欢迎访问我们的机构号：@运筹OR帷幄

作者：乔杰

乔杰，广东工业大学计算机专业的博士在读。主要研究方向是因果关系，个人博客

https://blog.csdn.net/a358463121

编者按：

贪婪算法可以说是一种非常直观的算法了，但是直观并不代表容易，也不代表没有深度。本文就将带你深入了解一下贪婪算法的应用。

贪婪算法可以说是最符合我们人类直觉的算法了，甚至有的时候贪婪算法就可以得到目标的最优解，比如说最小生成树算法。那么我们自然就会想知道，它能达到最优值吗？如何判断？实际上一个叫Matroid的东西是可以帮助我们判断是否能达到最优值的。但是如果不能达到最优，它到底有多近似呢？submodularity optimization对这个问题给予了一个答案。

submodularity condition

submodularity

对于同一个地方，在雷达覆盖范围比较小的时候加入一个雷达(左图)，它的效果肯定比在雷达覆盖范围比较大的时候加一个雷达的效果要好(右图)。基于此我们可以给出一个定义：

接下来再介绍几个有用的性质，submodular函数的求和还是submodular函数，submodular函数的加权求和（权重非负）也还是submodular函数。这个性质让我们可以定义一些很简单的submodular函数，然后把他们加起来组成一个复杂的函数。

现在你的函数有了这两个性质，而且任务找到一个大小为k的子集S使得f达到最大，那么不同大小的k会造成什么影响呢？该理论的一个漂亮的地方是，如果你函数有Submodularity和Monotonicity这两个性质那么至少63%的效果是可以保证的。当然在实际中，常常可以高于这个值。以下定理给出了该描述的一个正式证明，该函数在使用贪婪算法，每一步都选择一个最优的元素来最大化f时，他一定能得到一个1-1/e(63%)的近似。为了证明这个bound，我们给出几个定义以及一些有用的定理。

Matroid Constraint

那么什么时候，贪婪算法可以得到最优解呢？答案是，如果我们在搜索子集的时候，搜索空间中所有的子集都是“独立”的，那么我们是有可能用贪婪算法找到最优解的。而Matriod定义了这么一种独立的性质.

想要进一步了解可以访问以下参考资料。

参考资料

When Greedy Algorithms are Good Enough: Submodularity and the (1 – 1/e)-Approximation

(https://jeremykun.com/2014/07/07/when-greedy-algorithms-are-good-enough-submodularity-and-the-1-1e-approximation/)

When Greedy Algorithms are Perfect: the Matroid

(https://jeremykun.com/2014/08/26/when-greedy-algorithms-are-perfect-the-matroid/)

Notes on Greedy Algorithms for Submodular Maximization

(https://thibaut.horel.org/submodularity/notes/02-12.pdf)

Submodular Function Maximization

(https://las.inf.ethz.ch/files/krause12survey.pdf)

更多精彩文章欢迎关注我们的机构号@运筹OR帷幄