2.2重要例子

1 空集、单点集、 $R^n$ 都是 $R^n$ 的仿射

2 任意直线都是仿射

3 一条线段是凸的，但不是仿射

4 射线是凸的，但不是仿射

5 任何子空间都是仿射的、凸锥

超平面与半空间

超平面

数学上超平面是具有下列形式的集合:

$\left \{ x|a^{T}x=b \right \},a\in R^{n},a\neq 0,b\in R$

从上式看出，超平面其实是线性方程的解空间。从几何上看，超平面其实是以a为法向量的平面。如下图：

半空间

半空间数学上的定义是

$\left \{ x|a^{T}x\leq b \right \},a\in R^{n},a\neq 0,b\in R\:$

几何上是：

Euclid球和椭球

Euclid球

以 $x_{c}$ 为球心以r为半径的球这样表示：

$B(x_{c},r)=\left \{\left x|\, \|x-x_c \right \|_2 \leq r \right \}=\left \{ x| (x-x_c)^T(x-x_c))\leq r^2\right \},r>0$

也可以写成：

$B(x_c,r)=\left \{x_c+ru | \right \left \| u \right \|_2\leq 1\}$

Euclid球是凸集：

椭球

$\varepsilon =\left \{x|(x-x_c)^TP^{-1}(x-x_c) \leq 1 \right \}$

其中 $x_c$ 是椭球中心，P是对称正定矩阵（咋上述表示中P是唯一的），P决定了椭球从 $x_c$ 向各个方向占的幅度。椭球的半周长度由P的特征值的算术平方根确定。可以看出Euclid球是一种特殊的椭球，这种特殊的椭球的 $P=r^2I$ ，I是单位矩阵。

椭球还可以表示成：

$\varepsilon = \left \{ x_c+Au | \left \| u \right \|_2 \leq 1 \right \}$

这种表示中A是对称半正定矩阵，切A是非奇异方阵，在这种表示中A不唯一。

范数球和范数锥

范数

范数表示成 $\left \| \cdot \right \|$ 具有三个性质：

非负性： $\left \| x \right \| \geq 0,\left \| x \right \|= 0, if \, and\, only\, \, if\, x =0$
保数乘： $\forall K \in R,\left \| kx \right \|=|k|\left \| x \right \|$
三角不等式： $\left \| x+y \right \|\leq \left \| x \right \|+\left \| y \right \|$

范数球

以 $x_c$ 为球心，半径为r的范数球定义为:

$\left \{ x|\left \| x-x_c \right \| \leq r \right \}$

范数锥

范数锥是集合：

$C=\left \{ (x,t))|\left \| x\right \| \leq t \right \}$

范数球和范数锥都是凸的。

多面体

多面体是有限个不等式和等式的解集。

$P=\left \{ x| a_j^Tx\leq b,j=1,2,\cdots m,c_j^Tx = d_j,j = 1,2,\cdots p \right \}$

从方程组的角度来看多面体是多个等式方程组和不等式方程组的解集，从几何上来看，其实多面体是多个超平面（对应等式方程）和半空间（对应不等式方程）的交集。

半正定锥

$S^n$ 表示对称的 $n\times n$ 矩阵。 $S_{+}^n$ 表示对称半正定矩阵。 $S_{++}^n$ 表示对称正定矩阵。 $S_{+}^n$ 就是一个凸锥。

$\forall A, B\in S_+^n,\forall \theta\geq 0,\forall x, x^T(\theta A+(1-\theta)B)x=x^T\theta Ax+x^T(1-\theta)Bx=\theta x^TAx+(1-\theta)x^TBx\geq 0$

凸优化第二章凸集 2.2重要例子相关推荐

《C++应用程序性能优化::第二章C++语言特性的性能分析》学习和理解
<C++应用程序性能优化::第二章C++语言特性的性能分析>学习和理解说明:<C++应用程序性能优化> 作者:冯宏华等 2007年版.最近出了新版,看了目录,在前面增加了一章 ...
凸优化第一【凸集与凸优化简介】
[本文仅供学习记录,概无其他用处,一些图片资源来自网络,侵删] 凸优化是一个简单的优化问题,优化-数学规划概念相同,本课程主要学习的内容包括:凸集.凸函数.凸优化和有关凸优化的一些算法. 优化:从一个 ...
SQL优化-第二章-从解释计划层面让SQL飞
2019独角兽企业重金招聘Python工程师标准>>> 前言在第一章,我们谈到加强数据库的设计层面认知可以让SQL的跑得更快,这章我们就谈论下如何从语言层面来提供优化SQL.如果说 ...
ARM嵌入式系统开发：软件设计与优化--第二章ARM处理器基础
注:本文资料全部来源于网络或书籍,同时加上个人理解.若有侵权,告知即删.若有错误,留言商讨. 1.寄存器: 总共有37个寄存器,最多可以有17个活动寄存器(16个数据寄存器,2个状态寄存器:CPSR和 ...
详解GCN、GAT、凸优化、贝叶斯、MCMC、LDA
如果你准备发AI方向的论文,或准备从事科研工作或已在企业中担任AI算法岗的工作.那么我真诚的向大家推荐,贪心学院<高阶机器学习研修班>,目前全网上应该找不到类似体系化的课程.课程精选了四大 ...
数学之美：凸优化问题
导言凸优化(convex optimization)是最优化问题中非常重要的一类,也是被研究的很透彻的一类.对于机器学习来说,如果要优化的问题被证明是凸优化问题,则说明此问题可以被比较好的解决.在本 ...
python3凸优化
目录简介全局最优化局部优化有约束优化问题代码实现简介凸优化,或叫做凸最优化,凸最小化,是数学最优化的一个子领域,研究定义于凸集中的凸函数最小化的问题. 在金融学和经济学中,凸优化起着重要 ...
李弘毅机器学习笔记：第二章
李弘毅机器学习笔记:第二章回归定义和应用例子回归定义应用举例模型步骤 Step 1:模型假设 - 线性模型一元线性模型(单个特征) 多元线性模型(多个特征) Step 2:模型评估 - 损失 ...
matplotlib 第二章学习
一.概述 1.matplotlib的三层api matplotlib的原理或者说基础逻辑是,用Artist对象在画布(canvas)上绘制(Render)图形. matplotlib有三个层次的API ...
凸优化 matlab-cvx-第十一章ADVANCED TOPICS
注意:在本节中,我们描述了CVX的一些更高级的功能.我们建议你先跳过这一节,直到你对上面描述的基本能力感到满意为止. 11.1消除二次型我们强烈建议的一个特殊的改写是消除二次型- -即像sum _ ...

凸优化第二章凸集 2.2重要例子