凸优化(Convex Optimization)是什么？

2024-05-18 15:26:36

”凸优化“ 是指一种比较特殊的优化，是指求取最小值的目标函数为凸函数的一类优化问题。其中，目标函数为凸函数且定义域为凸集的优化问题称为无约束凸优化问题。而目标函数和不等式约束函数均为凸函数，等式约束函数为仿射函数，并且定义域为凸集的优化问题为约束优化问题。

一、什么是凸优化

不严格的说，凸优化就是在标准优化问题的范畴内，要求目标函数和约束函数是凸函数的一类优化问题。

二、重要性
“凸优化在数学规划领域具有非常重要的地位。”

“一旦将一个实际问题表述为凸优化问题，大体上意味着相应问题已经得到彻底解决，这是非凸的优化问题所不具有的性质。”

——《<凸优化>译者序》
凸优化之所以如此重要，是因为：

1、其应用非常广泛，机器学习中很多优化问题都要通过凸优化来求解；

2、在非凸优化中，凸优化同样起到重要的作用，很多非凸优化问题，可以转化为凸优化问题来解决；

3、如上引用所述，凸优化问题可以看作是具有成熟求解方法的问题，而其他优化问题则未必。

凸优化（Convex Optimization）之所以重要是因为它是所有优化问题中最容易解决的。凸优化包含但不限于线性优化（Linear Optimization）以及一些具有特殊性质的非线性优化（Nonlinear Optimization）。凸优化之所以‘容易’是因为任何可证明的局部最优解（Local Optimal Solution）都同时为全局最优解（Global Optimal Solution）。换句话说，一旦你找到了一个局部最优解，那么它一定是你能找到中最好的（也就是全局最优的）。之所以说它重要，我认为有两点原因：1. 它是所有优化问题中最简单的，很多复杂的算法要基于凸优化，因此很重要； 2. 线性优化是所有优化中最为基本的，一般学习优化算法要从线性优化开始。

http://blog.csdn.net/sunmenggmail/article/details/13998255

http://blog.csdn.net/clheang/article/details/45112059

1. C++标准模板库从入门到精通

http://edu.csdn.net/course/detail/3324

2.跟老菜鸟学C++

http://edu.csdn.net/course/detail/2901

3. 跟老菜鸟学python

http://edu.csdn.net/course/detail/2592

4. 在VC2015里学会使用tinyxml库

http://edu.csdn.net/course/detail/2590

5. 在Windows下SVN的版本管理与实战

http://edu.csdn.net/course/detail/2579

6.Visual Studio 2015开发C++程序的基本使用

http://edu.csdn.net/course/detail/2570

7.在VC2015里使用protobuf协议

http://edu.csdn.net/course/detail/2582

8.在VC2015里学会使用MySQL数据库

http://edu.csdn.net/course/detail/2672

凸优化(Convex Optimization)是什么？相关推荐

实用线性代数和凸优化 Convex Optimization
If not specified, the following conditions are assumed. X∈Rn∗mA∈Rm∗nX \in R^{n*m} \\ A \in R^{m*n} X ...
凸优化 [Convex Optimization] — [美] 鲍德（Stephen Boyd），Lieven Vandenberghe 著，王书宁，许鋆，黄晓霖译
<信息技术和电气工程学科国际知名教材中译本系列:凸优化>从理论.应用和算法三个方面系统地介绍凸优化内容. 凸优化在数学规划领域具有非常重要的地位.从应用角度看,现有算法和常规计算能力已足以 ...
【001】机器学习基础-凸优化基础
为什么开篇第一件事是介绍凸优化呢,原因很简单,就是它很重要! 凸优化属于数学最优化的一个子领域,所以其理论本身也是科研领域一门比较复杂高深的研究方向,常被应用于运筹学.管理科学.运营管理.工业工程.系 ...
凸优化：ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法
[本文链接:http://blog.csdn.net/shanglianlm/article/details/45919679,转载请注明出处] 最近开始对凸优化(convex optimizatio ...
对凸优化（Convex Optimization）的一些浅显理解
©作者 | 李航前单位 | EPFL 研究方向 | 计算机图形学与三维视觉最近学习了一些凸优化课程,整理笔记的同时写下一些自己的理解,向着头秃的道路上越走越远. 凸优化是应用数学的一个基本分支,几 ...
读convex optimization (Stephen Boyd)：最优化最小二乘线性规划凸优化非线性规划 (intro part)
for all x, y ∈ Rn and all α, β ∈ R with α + β = 1, α ≥ 0, β ≥ 0. Since any linear program is therefo ...
机器学习与深度学习神器！凸优化（Convex Optimization）学习必备
Boyd的Convex Optimization是神书,真的想搞科研可以学一下这个书,但这个书理论多,侧重凸分析的基础,花了非常长的篇幅介绍函数的凸性.对偶等,但在机器学习中,至少在刚入门不久的阶段这 ...
凸优化（convex optimization）第二讲：convex set
Convex opt 第二讲(convex set) Affine set affine set 表示经过两点的一条线,这条线满足: 相较于后面我们要讨论的convex set,这里少了一些限制,是 ...
凸优化（Quasi convex optimization）与梯度下降（Grad descent）
目录一.凸优化 1.1评价标准 1.2驻点 1.3凸优化条件 1.4凸优化形式二.梯度下降 2.1损失函数 2.2梯度一.凸优化 1.1评价标准当我们建立模型之后,我们希望有一种标准来评价模型 ...
详解GCN、GAT、凸优化、贝叶斯、MCMC、LDA
如果你准备发AI方向的论文,或准备从事科研工作或已在企业中担任AI算法岗的工作.那么我真诚的向大家推荐,贪心学院<高阶机器学习研修班>,目前全网上应该找不到类似体系化的课程.课程精选了四大 ...

最新文章

热门文章