凸优化笔记 —— 基本概念之凸集

1. 数学优化
基本概念
- 2.1 凸优化问题
- 2.2 线性函数与凸函数
- 2.3 凸集
- - 仿射集。
  - 2.3.2 凸集
- 2.3.3锥
- 三种集合的比较：

基本准备

本科没学过凸优化，想趁着还不是太忙，恶补下数学知识，终究是绕不过去的山。应该会不定时的更新凸优化、矩阵论的相关笔记吧，PRML、计算机视觉、概率图模型希望以后也能写一写笔记。

推荐的书籍：
英文版《Convex Optimization》
中文版(译本)《凸优化》(清华出版社)

推荐视频：
前中科大凌青老师 (现在好像去了中山大学了)
视频在线地址：b站
网盘下载地址：http://pan.baidu.com/s/1slmHdTz 密码：9h61 (感谢，大智能时代’s Archiver上的分享)

纸质版书的话，英文版有点贵，中文版还好。PDF的话，上面我都给了链接了，英文版是作者的主页，可以免费下载最新版的PDF，中文版好像不是太新。视频的话，在线可以去b站上，下载的话也有网盘地址。不得不说b站真是个神奇的网站，很多斯坦福公开课我也是在上面看的，但是好像现在CS231N找不到。咳咳，扯远了~

另外，为了节省写博客的时间，书上的概念、公式会以截图的形式贴到博客上，重点在于自己的理解，和重点知识的归纳。书归正传，开始基本概念的笔记吧。

1. 数学优化

优化，即在可行解的范围内，找出最优解。用数学的形式可表达如下：
minimize  f0(x)subject to  fi(x)≤bi,  i=1,⋯ ,mminimize\: \: f_0\left ( x \right )\\ subject \:to\: \: f_i\left ( x \right )\leq b_i, \: \: i = 1,\cdots ,mminimizef0(x)subjecttofi(x)≤bi,i=1,⋯,m

，其中，向量x是问题的优化变量，f0f_0f0是目标函数，fif_ifi是约束函数。关于这个公式具体的定义如书上所言：

同样，也给出了最优解的概念。另外，目标函数和约束函数并不一定是单一的，都是可以存在多个的。

其实，对于数学优化问题，具体来点讲，比如在用做物理实验或者各种实验获得的数据，来拟合这些数据所表征的函数。假设，这些数据表征的是一个二次函数，即y=ax2+bx+cy=ax^2+bx+cy=ax2+bx+c，在计算机上去拟合只能是去，先有个a、b、c的初始值，带入上述这个形式中，看与真实值的误差多大，然后向着是误差减小的地方来更新a、b、c的值，(有点类似于反向传播)。在这其中，误差就是目标函数，而限制条件，可能就是这些数据都是非负的，等等。优化问题的求解就是在一定的精度内，满足此一实例。就如上面这个问题，当误差在某一阈值之内的时候，求解就算完毕。

希尔伯特说过，问题可被描绘出来，就解决的了80%。而如果优化问题，能被描述出来还能被转换成凸优化问题，那么问题就解决了90%(凌青老师的话)

优化的分类

分类大概为：凸优化与非凸优化，线性优化与非线性优化，（针对目标函数）光滑与非光滑，连续与离散，多目标与单目标等。其中凸优化与非凸优化是界定优化问题较为准确地分界。粗略来讲，凸问题是较为简单的问题，非凸问题是较为难的问题。

基本概念

2.1 凸优化问题

什么是凸优化呢，简单来讲，就是上述数学优化问题中，目标函数是凸函数，约束问题属于凸集，或者是由若干凸函数组成的。那么，什么又是凸函数和凸集呢？

2.2 线性函数与凸函数

① 线性函数的定义：
fi(αx+βy)=αfi(x)+βfi(x)f_i\left ( \alpha x+\beta y \right )=\alpha f_i\left ( x \right )+\beta f_i\left ( x \right )fi(αx+βy)=αfi(x)+βfi(x)
其中，α, β∈R\alpha,\: \beta \in Rα,β∈R

② 凸函数的定义：
fi(αx+βy)≤αfi(x)+βfi(x)f_i\left ( \alpha x+\beta y \right )\leq \alpha f_i\left ( x \right )+\beta f_i\left ( x \right )fi(αx+βy)≤αfi(x)+βfi(x)其中，α, β∈R+，且α+β=1\alpha,\: \beta \in R^+，且\alpha+\beta =1α,β∈R+，且α+β=1

可以看出，线性函数属于凸函数，也就是说凸优化是比线性优化更为一般的问题。

2.3 凸集

仿射集。

第一种定义：

要注意，这个定义中需要是过集合内任意两点的直线，还在集合内。那，什么是直线呢？数学表达如下：

当把，Θ\ThetaΘ设定在[0,1]之间时，直线就变成了了线段。下面这张图就很好地解释了这件事，Θ\ThetaΘ的绝对值越来越大时，点就会离Θ\ThetaΘ为0的点越来越远，而Θ\ThetaΘ属于[0,1]时，也就只能包含x1x_1x1和x2x_2x2之间的点了。

仿射组合与第二种定义：

翻译过来就是，根据上面定义的仿射组合，如果对于仿射集C内任意个点的仿射组合都还属于C。这两种定义是等价的，证明省略，有兴趣可以看凌青老师视频第三集，证明也较为简单。

(1) 仿射集相关的子空间

另外，在仿射集的定义中，要求所有系数相加为1。那么是否有α, β∈R\alpha,\: \beta \in Rα,β∈R，而对于任意的点，αx1+βx2\alpha x_1+\beta x_2αx1+βx2仍然属于C的情况呢？考虑一条穿过原点的直线，这样一个集合就是满足上述这样的性质的。

更普遍的来讲，不管在任意维度的空间内，一个集合的点只要统统减去集合内的值，那么这个集合一定经过空间内的原点。那么可以构造出一个与仿射集相关的子空间V：

同样V，也是一个仿射集，且αv1+βv2\alpha v_1+\beta v_2αv1+βv2仍然属于C。

(2) 线性方程的解

上述图片中证明了，仿射集必定是线性方程组的解集。结合上面的子空间的定义，可以清楚的看到，以C为解集的线性方程组，其中A·V必定等于0，即V是A的化零空间。

(3) 仿射包

其中，集合C若为仿射集，那么aff C就是其本本身，若C不是仿射集，那么aff C是包含C的最小的仿射集。

2.3.2 凸集

第一种定义：

从第一种定义的对比来看，仿射集限制要比凸集要大，满足线段在集合内要比满足直线在集合内要容易一些，这也是凸集包含仿射集的原因。

凸组合与第二种定义

在此不过多阐述，可以看一下较为明显的凸集和非凸集：

(1)凸包
与仿射包的定义相似，凸包的定义如下：

同样，如果C本身是凸集，那么conv C就是其本身，如果C不是凸集，那么conv C就是包含C的最小凸集。

2.3.3锥

其实，锥就是一系列射线，且射线的端点在原点处组合而成的集合，而本身又是凸集的锥就是凸锥。从上述定义的来说，构成的是一个扇面。如下图：

凸锥组合与凸锥包

三种集合的比较：

仿射集：Θ1x1+⋯+Θkxk,\Theta_1x_1+\cdots+ \Theta_kx_k,Θ1x1+⋯+Θkxk,  \; \; 其中，Θ1+⋯+Θk=1\Theta_1+\cdots +\Theta_k=1Θ1+⋯+Θk=1

凸集：Θ1x1+⋯+Θkxk,\Theta_1x_1+\cdots +\Theta_kx_k,Θ1x1+⋯+Θkxk,  \; \; 其中，Θ1+⋯+Θk=1,  Θ1,⋯ ,Θk∈[0,1]\Theta_1+\cdots +\Theta_k=1,\; \;\Theta_1,\cdots ,\Theta_k\in[0,1]Θ1+⋯+Θk=1,Θ1,⋯,Θk∈[0,1]

凸锥：Θ1x1+⋯+Θkxk,\Theta_1x_1+\cdots +\Theta_kx_k,Θ1x1+⋯+Θkxk,  \; \; 其中，Θ1,⋯ ,Θk∈R+\Theta_1,\cdots ,\Theta_k\in R^+Θ1,⋯,Θk∈R+

凸优化笔记(1) —— 基本概念相关推荐

【凸优化笔记一】仿射集+凸集+锥
[凸优化笔记一]仿射集+凸集+锥引言直线&线段直线的定义线段的定义仿射集 Affine Sets 与C相关的子空间线性方程组的解集是仿射集零空间仿射包 Affine Hull ...
中科大-凸优化笔记（lec25）-等价变换
全部笔记的汇总贴(视频也有传送门):中科大-凸优化 ∇fT(x∗)(y−x)≥0\nabla f^T(x^*)(y-x)\ge0∇fT(x∗)(y−x)≥0线性规划的解在边界上一.等价变换例:食谱 ...
【凸优化笔记二】凸函数基本性质和例子
[凸优化笔记二]凸函数基本性质和例子凸函数的四个定义定义一定义二定义三定义四一些栗子凸函数的四个定义定义一其中 dom fff 是函数 fff 的定义域(前域),为凸集--这个很重 ...
中科大-凸优化笔记（lec9）-广义不等式、分离与支撑超平面、对偶锥与广义不等式
全部笔记的汇总贴(这一节的视频缺失):中科大-凸优化内容是自己看书上的三节整理的,和前面几节一样,算是一些基础性的理论知识. 只能说这一块儿先就这样,后面的课程如果遇到需要进行补充学习的地方,再进行 ...
中科大-凸优化笔记（lec44）-一些上界下界及梯度下降
全部笔记的汇总贴(视频也有传送门):中科大-凸优化一.强凸性假设 f ( x ) f(x) f(x)二阶可微且有强凸性 ∃ m > 0 , ∀ x ∈ d o m f , ∇ 2 f ( x ...
机器学习数据挖掘笔记_15（关于凸优化的一些简单概念）
没有系统学过数学优化,但是机器学习中又常用到这些工具和技巧,机器学习中最常见的优化当属凸优化了,这些可以参考Ng的教学资料:http://cs229.stanford.edu/section/cs22 ...
关于凸优化的一些简单概念
http://www.cnblogs.com/tornadomeet/p/3300132.html 没有系统学过数学优化,但是机器学习中又常用到这些工具和技巧,机器学习中最常见的优化当属凸优化了,这些 ...
[转]关于凸优化的一些简单概念
没有系统学过数学优化,但是机器学习中又常用到这些工具和技巧,机器学习中最常见的优化当属凸优化了,这些可以参考Ng的教学资料:http://cs229.stanford.edu/section/cs22 ...
凸优化一（基本概念介绍）
背景知识优化问题凸优化是一类数学优化问题,介绍凸优化前先简单介绍数学优化问题. 优化问题定义(形式): minimizef0minimizef0 minimize \quad f_{0} subj ...

凸优化笔记(1) —— 基本概念