Convex Optimization-chapter1
第一章
- 1.1数学优化
- 凸优化的应用:
- 1.2最小二乘法与线性规划
- 最小二乘问题:
- 最小二乘应用:
- 线性规划:
- Chebyshev逼近问题
- 1.3凸优化
- 求解凸优化问题
- 其他优化:
1.1数学优化
形如:
向量x =(x1…xn)称为问题的优化变量,
函数fxo∶Rn→R称为目标函数,
函数fi:R →R, i= 1,.… , m,称为(不等式)约束函数
常数 b1,…, bm称为约束上限或者约束边界。
对于任意满足约束fi(z)≤b1,…, fm(z)≤bm的向量z,有fo(z)≥ fo(a*),那么称*为问题(1.1)的最优解或者解。
线性优化:
凸优化:(α>0,β>0,且α+β+1)
结论:线性优化条件更为苛刻,凸优化可以看作是线性优化的一种扩展。
凸优化的应用:
1.投资组合优化
2.器件尺寸问题
优化问题可以看成在向量空间Rn的一集备选解中选择最好的解。用x表示备选解,fi(x)≤b表示 x 必须满足的条件,目标函数fo(x)表示选择x的成本(同理也可以认为—fo(a)表示选择α 的效益或者效用)。优化问题的解即为满足约束条件的所有备选解中成本最小(或者效用最大)的那个解。
3.数据拟合
在数据拟合中,我们通常需要选择一个模型,而变量则是模型的参数,所以需要解决的问题就是寻找合适的模型参数,使得与真实模型之间偏差达到预期值(偏差最小值)。
1.2最小二乘法与线性规划
最小二乘问题:
没有约束条件(m=0),目标函数是若干项平方和。每一项都有具体的形式:
公式如下:
其中,A ∈ R的k×n次方(k ≥n),ai的转置是矩阵A的行向量,向量x∈ Rn是优化变量。
其中最小二乘问题的求解可以化成一组线性方程:
优化变量x=
最小二乘应用:
判断一个优化问题是否是最小二乘问题方法:看目标函数是否为二次函数,然后检验函数是否是半正定函数。
加权最小二乘本:
其中加权系数w均大于0.加权系数反应求和项
的重要程度。
正则化优化:
正则化是解决最小二乘问题的另一个技术,它通过在成本函数中增加一些多余的项来实现。一个最简单的形式是在成本函数中增加一项和变量平方和成正比的项
线性规划:
另一类较为重要的优化问题是线性规划,其目标函数和所有的约束函数均为线性函数,线性规划问题可以表述如下:
Chebyshev逼近问题
其中,优化变量a ∈ Rn,a1,…“,ak ∈ R”。b1,…,by ∈R为问题的参数,参数取值确定后即得到了一个具体问题。我们注意到,此问题与最小二乘问题式有着一定的相似性。对于这两个问题,目标函数中均含有ai的转置 - bi。不同的是,在最小二乘问题中,我们采用ai的转置 - bi的平方和作为目标函数,而在Chebyshev逼近问题中,我们优化ai的转置 - bi的绝对值中最大的一项。另外一个重要差别在于Chebyshev逼近问题式中的目标函数是不可微的;而最小二乘问题式中的目标函数是二次的,自然也是可微的。
可以等价为线性规划:
1.3凸优化
形如:
其中,函数fo,…,fm : Rn→R为凸函数。即对于任意x,y ∈ Rn,a,β ∈R且α +β = 1,α ≥ 0,β≥0,这些函数满足
求解凸优化问题
凸优化问题的解并没有一个解析表达式,但是,和线性规划问题类似,存在很多有效的算法求解凸优化问题。在实际应用中,内点法就较为有效,在一些情况下,可以证明,内点法可以在多项式时间内以给定精度求解这些凸优化问题。
在凸优化问题中,每一步需要操作次数与成正比
其中F是计算目标函数和约束函数fo;… ,fm的一阶导数和二阶导数所需要的计算量。
其他优化:
非线性优化:目标函数或者约束函数是非线性的,对于一般的非线性规划问题是很难解决的,即使变量个数很少,也很难求解;
局部优化:放宽对最优解的要求,寻找局部最优解,只保证在其小领域的所有可行解是目标函数最小,不保证在此领域的其他可行解。然而,除了(可能)不能找到全局最优解以外,局部优化方法还存在一些别的缺点。在局部优化中,需要确定优化变量的初始值,而初始值的选取非常重要,对最终得到的局部最优解有着很大的影响。而且,人们无法估计局部最优解相比(全局)最优解到底有多大的差距。此外,局部优化方法对算法的参数值一般也较为敏感,通常需要针对某个具体的问题或某类问题进行调整。
全局优化:致力于搜索全局最优解,代价则是效率,可能求解的复杂性随着n和m呈指数型增长,因此在变量个数少以及对时间要求不苛刻的问题中可以使用全局优化
非凸优化中的凸优化应用:
1.局部优化中利用凸优化进行初始值的选取
2.非凸优化中的凸启发式算法
3.全局优化的界:对于非凸问题的全局优化,很多方法都需要给出最优解的下界,而且计算代价必须较小。求解下界的两个标准方法都是基于凸优化。在松弛算法中,每个非凸约束都用一个松弛的凸约束代替。在 Lagrange松弛中,我们求解Lagrange对偶问题。此问题是凸的,并给出了原非凸问题最优解的一个下界。
Convex Optimization-chapter1相关推荐
- 实用线性代数和凸优化 Convex Optimization
If not specified, the following conditions are assumed. X∈Rn∗mA∈Rm∗nX \in R^{n*m} \\ A \in R^{m*n} X ...
- 笔记:Tensor RPCA: Exact recovery of corrupted low-rank tensors via convex optimization
Lu, C., et al., Tensor robust principal component analysis: Exact recovery of corrupted low-rank ten ...
- 对凸优化(Convex Optimization)的一些浅显理解
©作者 | 李航前 单位 | EPFL 研究方向 | 计算机图形学与三维视觉 最近学习了一些凸优化课程,整理笔记的同时写下一些自己的理解,向着头秃的道路上越走越远. 凸优化是应用数学的一个基本分支,几 ...
- 机器学习与深度学习神器!凸优化(Convex Optimization)学习必备
Boyd的Convex Optimization是神书,真的想搞科研可以学一下这个书,但这个书理论多,侧重凸分析的基础,花了非常长的篇幅介绍函数的凸性.对偶等,但在机器学习中,至少在刚入门不久的阶段这 ...
- 今天开始学Convex Optimization:第2章 背景数学知识简述
文章目录 第2章 背景数学知识简述 2.1 数学分析和微积分基础 函数性质 集合Sets Norms 线性函数.仿射函数 函数的微分(导数) 2.2 线性代数基础 Matrix Subspaces 正 ...
- 凸优化(convex optimization)第二讲:convex set
Convex opt 第二讲(convex set) Affine set affine set 表示经过两点的一条线,这条线满足: 相较于后面我们要讨论的convex set,这里少了一些限制,是 ...
- Numerical Optimization和Convex optimization 两本书的选择?
Numerical Optimization和Convex optimization 两本书的选择? - 知乎https://www.zhihu.com/question/49689245 Numer ...
- Convex Optimization介绍
最近在看Stephen Boyd的<Convex Optimization>,其中涉及不少数学知识和习题,在此整理一下阅读此书的学习笔记. 因为书上的记号比较详尽,所以在博客中仅摘取一些自 ...
- 今天开始学Convex Optimization:引言、第1章基本概念介绍
文章目录 引言 第1章 Introduction 凸优化问题 最小二乘问题 线性规划问题 一个优化问题例子:最佳灯源问题 Chebyshev逼近问题,转化成线性规划 参考资料 2020年我自己希望多看 ...
- 读convex optimization (Stephen Boyd):最优化 最小二乘 线性规划 凸优化 非线性规划 (intro part)
for all x, y ∈ Rn and all α, β ∈ R with α + β = 1, α ≥ 0, β ≥ 0. Since any linear program is therefo ...
最新文章
- UBUNTU添加开机自动启动程序方法
- mysql万能密钥,mysql错误:指定的密钥太长;最大密钥长度为767字节
- L - 病毒扩散(暴力)
- flyway命令行使用示例:指定conf配置文件
- Linux 命令之 w 命令-显示目前登入系统的用户信息
- oracle9i解密rewrap,oracle 9i 的加密解密用法之dbms_obfuscation_toolkit(一)
- 美国纽约拟将电话亭变WiFi热点
- 图的邻接矩阵(C语言实现)
- HDU 6096 树套树
- OpenCV学习——摄像头人脸识别
- Unity Spine 换装方案
- 为何日本手机走不出国门—iFanr版
- 计算机ip地址在哪找,如何查ip地址,电脑ip地址在哪看
- storm无损 the wolven_落日飞车专辑《柔性风暴(Soft Storm)》9首歌曲合集[FLAC/MP3/436.52MB]百度云网盘下载...
- 使用vsftpd 搭建ftp 服务器
- 共识算法POW原理及实现
- 【Linux】之systemd与systemctl
- PYTHON对接国际验证码接口
- 卡耐基梅隆大学计算机熬夜,美国25所著名大学学生平均作息时间表 原来留学生的日子也不好过!...
- MAX7219产品级驱动分享