凸优化教程学习与理解（mark）

1. 什么是凸优化
- 1.1 优化问题的一般形式
- 1.2 优化问题的几种分类
- - 1.2.1. 早期划分为线性规划和非线性规划；
  - 1.2.2 凸规划和非凸规划;
  - 1.2.3 光滑/非光滑（针对目标函数
  - 1.2.4 连续或离散
  - 1.2.5 单目标与多目标优化问题
  - 1.2.6 凸优化定义
  - 1.2.7 凸优化适用性
- 1.3 凸优化例子
参考文献资料

1. 什么是凸优化

凸优化，顾名思义，就是一种优化问题的求解方法。凸优化，或叫做凸最优化，凸最小化，是数学最优化的一个子领域，研究定义于凸集中的凸函数最小化的问题。凸优化在某种意义上说较一般情形的数学最优化问题要简单，譬如在凸优化中局部最优值必定是全局最优值。凸函数的凸性使得凸分析中的有力工具在最优化问题中得以应用，如次导数等。

1.1 优化问题的一般形式

从优化或者数学优化的角度来说，优化问题就是从一个可行解的集合中找到最优元素。其一般形式可表示为如下所示，主要包括优化变量、目标函数、约束条件以及可行解集中的最优解。

举两个栗子：
1.寻找极值

2. 寻找最优拟合参数

3. 最短路径问题
这里巧妙的利用权值x(0,1)来控制是否取这一段路径。

1.2 优化问题的几种分类

想要了解什么是凸优化，先对优化问题做一个简单的分类，如：

1.2.1. 早期划分为线性规划和非线性规划；

1.2.2 凸规划和非凸规划;

1.2.3 光滑/非光滑（针对目标函数

1.2.4 连续或离散

可行域是一个连续的区域还是离散的网格点之类的

1.2.5 单目标与多目标优化问题

Pareto最优（前沿）：即改变一个参数，并不能在不影响（降低）其他性能的基础上，提升某个方面的性能。

1.2.6 凸优化定义

广义定义：凸目标函数、凸约束集。

1.2.7 凸优化适用性

1）解一些比较容易的问题，包括：凸问题、单目标问题、光滑问题等等。
2）能将一些实际问题构造成上述容易的问题类型。
3）容易和难指的是求解最优值的难易。

1.3 凸优化例子

凸优化问题，或可以通过改变变量而转化为凸优化问题：

最小二乘
最小二乘问题是无约束的优化问题，通常可以理解为测量值与真实值之间的误差平方和。
线性规划
线性规划也是一种典型的凸优化问题，常用解决方法是内点法，例子详见【2】
线性约束的二次规划
二次规划(QP)是求解一种特殊的数学优化问题的过程——具体地说，是一个(线性约束)二次优化问题，即优化(最小化或最大化)多个变量的二次函数，并服从于这些变量的线性约束。二次规划是一种特殊的非线性规划。
常用解法包括：积极集法、内点法。

参考文献资料

【1】 https://blog.csdn.net/qq_41485273/article/details/113546843
【2】线性规划的数学推导和Python实现
【3】凌青-中科院凸优化

凸优化教程学习与理解（mark）相关推荐

凸优化基础学习：凸集、凸函数、凸规划理论概念学习
凸优化基础概念学习 1.计算几何是研究什么的? 2.计算几何理论中(或凸集中)过两点的一条直线的表达式,是如何描述的?与初中数学中那些直线方程有什么差异?有什么好处? 3.凸集是什么? 直线是凸集吗? ...
详解机器学习的凸优化、图神经网络、强化学习、贝叶斯方法等四大主题
AI是一门入门简单,但想深入却很难的学科,这也是为什么AI高端人才一直非常紧缺的重要原因.在AI领域技术领域,我们可以说机器学习功底决定了一个人的上限也不为过.为什么?机器学习就像物理学中的数学,如果 ...
数学不好是原罪——凸优化学习笔记（个人学习记录汇总）
中科大凸优化课程学习笔记中科大凌青老师的课(现中山大学教授):中科大-凸优化形而上学,不行退学,共勉!博客为个人手写笔记整理存档,不喜勿看. 凸优化学习笔记(一) 持续更新--
凸优化工具包CVX快速入门
CVX工具包可以从斯坦福Boyed教授的个人主页下载http://cvxr.com/cvx/download/,也可以从我的资源中下载http://download.csdn.net/detail/h ...
从零开始一起学习SLAM | 理解图优化，一步步带你看懂g2o代码
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达小白:师兄师兄,最近我在看SLAM的优化算法,有种方法叫" ...
对凸优化（Convex Optimization）的一些浅显理解
©作者 | 李航前单位 | EPFL 研究方向 | 计算机图形学与三维视觉最近学习了一些凸优化课程,整理笔记的同时写下一些自己的理解,向着头秃的道路上越走越远. 凸优化是应用数学的一个基本分支,几 ...
详解凸优化、图神经网络、强化学习、贝叶斯方法等四大主题
加入AI行业拿到高薪仅仅是职业生涯的开始.现阶段AI人才结构在不断升级,这也意味着如果目前仍然停留在调用一些函数库,则在未来1-2年内很大概率上会失去核心竞争力的.几年前如果熟练使用TensorFlo ...
凸优化学习：PART1凸集
凸优化学习PART1 一.引言:优化问题简介优化问题的定义凸优化是优化的一种,是优化中比较容易的问题.在讲解优化问题前,首先说明什么是优化/数学规划(Optimization/Mathematic ...
凸优化学习-（二十九）有约束优化算法——增广拉格朗日法、交替方向乘子法（ADMM）
凸优化学习我们前面说过,拉格朗日法在实际中应用不大.为什么呢?因为 α \alpha α的取值很难取,这就导致拉格朗日法鲁棒性很低,收敛很慢,解很不稳定.于是就有了今天的增广拉格朗日法和ADMM. ...

凸优化教程学习与理解（mark）

凸优化教程学习与理解（mark）

1. 什么是凸优化

1.1 优化问题的一般形式

1.2 优化问题的几种分类

1.2.1. 早期划分为线性规划和非线性规划；

1.2.2 凸规划和非凸规划;

1.2.3 光滑/非光滑（针对目标函数

1.2.4 连续或离散

1.2.5 单目标与多目标优化问题

1.2.6 凸优化定义

1.2.7 凸优化适用性

1.3 凸优化例子

参考文献资料

凸优化教程学习与理解（mark）相关推荐

最新文章

热门文章