推荐一个别人做的笔记：

P1&P2、

（相关知识：数学规划）

1、凸优化形式：
$\min\limits_x\ f_o(x )\quad subject\ to \ f_i \le b_i $, $ i=1,\dots,M $
x = [ x 1 , x 2 , ⋯ , x n ] T x=[x_1,x_2,\cdots,x_n]^T x=[x1,x2,⋯,xn]TOptimization Vector
f o : R n → R f_o:\mathbb{R}^n\to\mathbb{R} fo:Rn→R, objective function
f i : R n → R f_i:\mathbb{R}^n\to\mathbb{R} fi:Rn→R, inequality Constraint
(等式约束可以写出两个不等式约束，因此这里不写。比如同时满足 f i ≤ b i f_i\le b_i fi≤biand f i ≥ b i f_i\ge b_i fi≥bi等价于 f i = b i f_i = b_i fi=bi)

x ∗ x^* x∗ is the optimal solution,
等价于
∀ z , z ∈ { f i ( z ) ≤ b i , i = 1 , … , m } , f o ( z ) ≥ f o ( x ∗ ) \forall z, z\in\{f_i(z)\le b_i, i=1,\dots,m\}, f_o(z)\ge f_o(x^*) ∀z,z∈{fi(z)≤bi,i=1,…,m},fo(z)≥fo(x∗)
其中， ∀ z , z ∈ { f i ( z ) ≤ b i , i = 1 , … , m } \forall z, z\in\{f_i(z)\le b_i, i=1,\dots,m\} ∀z,z∈{fi(z)≤bi,i=1,…,m}是可行解集（feasible set）

最优点一般不止一个，所以有一个最优解集 。
（左：凸函数；右：非凸函数）

PS：关于“凹优化”
因为凹函数加一个负号就是凸函数，所以
max 凹函数=min (-凹函数）=min 凸函数
凹函数一般求Max；凸函数一般求Min；
一个原弧可能是上凹/下凸，按凸优化定义来判断凸凹的话有点忙，所以偷懒一下看看是有max值还是/min值来判断凸凹吧（不一定正确）

2、应用举例：

(1) 图像处理-去噪声 TV-L2模型
（可以参考斯坦福课程ppt的去噪例子）
给定带噪声图像 Φ o ( x , y ) \Phi_o(x,y) Φo(x,y) ，求最优去噪图片 Φ ( x , y ) \Phi(x,y) Φ(x,y)
图片是分片光滑的（Smooth)，因此应该最小化Total Variation(TV)范数
$||\Phi||_{TV}=\sum\limits_y\sum\limits_x \sqrt{(\Phi(x,y)-\Phi(x,y-1))^2 +(\Phi(x,y)-\Phi(x-1,y))^2} $ (两个方向上的差分平方)
Fomularize as:TV-L2模型

min ⁡ Φ ∣ ∣ Φ ∣ ∣ T V + λ ∣ ∣ Φ − Φ o ∣ ∣ F 2 \min\limits_{\Phi}||\Phi||_{TV}+\lambda||\Phi-\Phi_o||_F^2 Φmin∣∣Φ∣∣TV+λ∣∣Φ−Φo∣∣F2

没有前项 min ⁡ Φ ∣ ∣ Φ ∣ ∣ T V \min\limits_{\Phi}||\Phi||_{TV} Φmin∣∣Φ∣∣TV，则 Φ = = Φ o \Phi==\Phi_o Φ==Φo；
没有后项 min ⁡ Φ λ ∣ ∣ Φ − Φ o ∣ ∣ F 2 \min\limits_{\Phi}\lambda||\Phi-\Phi_o||_F^2 Φminλ∣∣Φ−Φo∣∣F2，则 Φ = = 0 {\Phi}==0 Φ==0
(2) 最短路径问题

但是 x i , j = 0 o r 1 x_{i,j}=0 or 1 xi,j=0or1这种选择问题很难解决；
写成 x i , j > = 0 x_{i,j}>=0 xi,j>=0变成了线性约束，整个问题变成容易解决的线性规划问题

3、优化问题分类：
（1）线性规划/非线性规划——以前的分类
线性规划： f o , f 1 , . . . , f n f_o,f_1,...,f_n fo,f1,...,fn都是线性的，即$f_i(\alpha x+\beta y)=\alpha f_i(x)+\beta f(y), \forall i =0,\cdots,n $
非线性规划： ∃ f i , f i ( α x + β y ) ≠ α f i ( x ) + β f ( y ) \exists f_i, f_i(\alpha x+\beta y)\neq\alpha f_i(x)+\beta f(y) ∃fi,fi(αx+βy)=αfi(x)+βf(y)

(2)凸规划/非凸规划——现在的分类（前者容易，后者难）
凸规划： f o , f 1 , . . . , f n f_o,f_1,...,f_n fo,f1,...,fn都是凸函数的，即
$f_i(\alpha x+\beta y)\le \alpha f_i(x)+\beta f(y), \forall i =0,\cdots,n $

（最简单的想象一下圆心在原点的圆形的第34象限部分（下凸/上凹图形，寻找min）或本文第一张图）（凸的容易解；非凸的难）

(3)光滑/非光滑（前者简单点；该特性不是问题本质差别）
光滑：函数每个点可微
非光滑：函数某个点/某些点不可微（如下图）

（4）连续/离散（针对可行域而言；前者容易，后者难；前者一般凸，后者一般非凸）

（5）单目标/多目标(来了来了，多目标优化，但是本课只讲单目标)
多目标优化找不到多个目标都最优，只能在两者之间寻找平衡（Pareto Front）

也可以通过加权处理成单目标 min ⁡ α f 1 ( x ) + ( 1 − α ) f 2 ( x ) \min \alpha f_1(x)+(1-\alpha)f_2(x) minαf1(x)+(1−α)f2(x)，但是不一定能得到Pareto Front上的解

4、本课程主要内容

1、凸集，凸函数，凸优化
2、凸优化理论知识
3、凸优化若干算法

5、如果一个问题，能够被构造成凸优化问题，那么问题基本上就能够得到解决。

6、优化发展的历史
（1）早期一些相关工作

17世纪Newton Rapson方法（牛顿迭代法）
解决 f ( x ) = 0 f(x)=0 f(x)=0
可以转化为凸优化 $ \min f^2(x)$
19世纪 Gauss-Siedel方法、Jacobi解决了
f 1 ( x ) = 0 f_1(x)=0 f1(x)=0
…
f N ( x ) = 0 f_N(x)=0 fN(x)=0
而这个可以转化为 min ⁡ ∑ i = 1 N f i 2 ( x ) \min \sum\limits_{i=1}^Nf^2_i(x) mini=1∑Nfi2(x)
18世纪 Lagrange(本课程重量人物) 将约束变成了目标

（2）战争时期急剧发展

1940 Bellman Dynamic Programming（贝尔曼动态规划）：可以从后往前去优化
1944 John von Neumann —>Gametheory（博弈论）:每个人都竞争着优化自己的函数
（而多目标优化是一个人试图来优化所有的函数）
线性规划：内点法（IPM)
2000年以后通信领域很多人用凸优化的方法来解决自己的问题

7、P3 Optimization/ Mathematical Programming
优化的基本形式
min ⁡ f 0 ( x ) s . t f i ( x ) ∈ b i , i = 1 , . . . , m , x = [ x 1 , x n ] T \min f_0(x) \quad s.t \ f_i(x)\in b_i, i=1,...,m, x=[x_1,x_n]^{\textrm{T}} minf0(x)s.t fi(x)∈bi,i=1,...,m,x=[x1,xn]T
科学家为了申请项目，把Optimizaiton写成了规划，所以规划问题本质上和Optimizaiton问题是一样的

8、教材：Stephen Boyd
内容：

理论：2/3/4/5
应用：9/10的一部分

中科大凸优化P1P2 Chapter1 Introduction相关推荐

中科大-凸优化笔记（lec25）-等价变换
全部笔记的汇总贴(视频也有传送门):中科大-凸优化 ∇fT(x∗)(y−x)≥0\nabla f^T(x^*)(y-x)\ge0∇fT(x∗)(y−x)≥0线性规划的解在边界上一.等价变换例:食谱 ...
中科大-凸优化笔记（lec9）-广义不等式、分离与支撑超平面、对偶锥与广义不等式
全部笔记的汇总贴(这一节的视频缺失):中科大-凸优化内容是自己看书上的三节整理的,和前面几节一样,算是一些基础性的理论知识. 只能说这一块儿先就这样,后面的课程如果遇到需要进行补充学习的地方,再进行 ...
中科大-凸优化笔记（lec44）-一些上界下界及梯度下降
全部笔记的汇总贴(视频也有传送门):中科大-凸优化一.强凸性假设 f ( x ) f(x) f(x)二阶可微且有强凸性 ∃ m > 0 , ∀ x ∈ d o m f , ∇ 2 f ( x ...
中科大凸优化P345678 Chapter2Conve Set
Chapter1 Introduction Chapter2 Convex Set P3&P4 1.特例:仿射集Affine Sets 给定两点(向量),确定一条直线贯穿两个点 $ \vec{ ...
文献翻译__人工智能时代医学图像重建中的凸优化算法（第4、5、6章）
文章下载–我的Gitee Convex optimization algorithms in medical image reconstruction-in the age of AI 人工智能时代医 ...
机器学习中的凸优化理论
凸优化课程优化问题定义:从一个可行解中找到一个最好的元素. 通常来说优化问题都可以写成如下的形式: 最小化目标函数: m个约束函数: 凸规划与非凸规划凸规划满足: 凸规划都是相对容易解决的,非凸 ...
机器学习中牛顿法凸优化的通俗解释
红色石头的个人网站:redstonewill.com 之前,我发过一篇文章,通俗地解释了梯度下降算法的数学原理和推导过程,推荐一看.链接如下: 为什么局部下降最快的方向就是梯度的负方向? 我们知道,梯 ...
中科大凌青老师凸优化课程——目录
视频链接: 中科大-凸优化_哔哩哔哩_bilibili 课程对应目录: 1-2:推荐书目,引言,常见例子,优化问题分类,发展史 3-4:仿射/凸/凸锥 + 集/组合/包 5-6:几种重要的凸集:超平面 ...
《凸优化》中科大-讲解 -系列笔记（汇总55/55）
本人学习所有系列:汇总帖这是一篇汇总贴 1-2:推荐书目,引言,常见例子,优化问题分类,发展史 3-4:仿射/凸/凸锥 + 集/组合/包 5-6:几种重要的凸集:超平面与半空间/球和椭球/多面体/单 ...

中科大凸优化P1P2 Chapter1 Introduction

P1&P2、

中科大凸优化P1P2 Chapter1 Introduction相关推荐

最新文章

热门文章