原文视频：https://www.bilibili.com/video/BV1rE411H7P6

凸集

举例：

（1） $min\:f(x),s.t.\:x\in[a,b)$

（2） $min\: x_1^2+x_2^2\;s.t.x\in S$

其中 $x^*$ 为最优点，此时对于凸集S来说， $x^*$ 的负梯度方向 与 $x^*$ 到 S内的所有点的方向所呈夹角必定大于90度

即： $-\bigtriangledown f(x^*)^T(x-x^*)\leq0,\:\forall x\in S$

基本定义

凸集（convex set ）：

对于任意的x,y $\in$ C与任意的 $\lambda \in [0,1]$ 有

$\lambda x+(1-\lambda)y\in C$

凸组合（convex combination）：

$\lambda_1 x^1+\cdots +\lambda_k x^k$

其中， $\lambda_1,\cdots,\lambda_k \geq0,\sum_{i=1}^{k}\lambda_i=1$ ，

补充：

线性组合： $\lambda_1 x_1+\cdots +\lambda_k x_k$

放射组合： $\lambda_1 +\cdots+\lambda_k=1$

凸包(convex hull of set C)：

由C中点的凸组合构成（将非凸集凸化）

常见凸集

超平面 hyperplane： $H=\left\{ x|a^Tx =b \right\}(a\neq 0);$

半空间 halfspace： $\\ H^+=\{ x|a^Tx \geq b\}(a\neq 0);\\ H^-=\{ x|a^Tx \leq b\}(a\neq 0);$
多面体polyhedra：多个线性不等式所刻画的集合： $\{ x|a^T_ix\leq b_i,i=1,\cdots,m\}$

注：线性等式刻画的集合也是多面体！（可以将等式，转换为两个不等式）

球体：（Euclidean）ball with center $x_c$ and radius r；

$B(x_c,r)=\{x| \| x-x_c \|_2 \leq r \} = \{ x_c + ru| \|u\|_2 \leq 1\}$

椭球（Ellipsoid）：

$\{x| (x-x_c)^T P^ {-1} (x-x_c)\leq 1 \} ;$ 其中 P为正定矩阵; 椭球的轴长为 $\sqrt{\lambda_i}$

二阶锥：Second-order cone, ice-cream cone:

$\{ (x,t)| \|x\|_2\leq t\}$

半定矩阵锥：

$S^n$ ：所有n阶对称矩阵组成的集合；
$S^n_+ = \{ X\in S^n|X\succeq 0\}$ ：所有半正定矩阵组成的集合，其中： $X\succeq0 \Leftrightarrow z^TXz \geq 0,\forall z$
$S^n_++ = \{ X\in S^n|X\succeq 0\}$ ：所有正定矩阵的集合

线性规划 $min\{ c^Tx|Ax=b,x\geq 0\}$ 的最优解组成的集合为S，S是凸集合么？

$\\\forall x_1,x_2 \in S\\ c^Tx_1=c^Tx_2=v^*\\ \forall \lambda \in[0,1], \lambda x_1+(1-\lambda) x_2\\ c^T(\lambda x_1+(1-\lambda) x_2)\\ =\lambda c^Tx_1+(1-\lambda) c^Tx_2\\ =v^*$

能够保持凸性的运算

设 $C_1,C_2\subset R^n$ 是凸集， $a\in R$ 则

（1） $C_1 \cap C_2 = \{ x|x\in C_1, x\in C_2 \}$ 是凸集

（2） $C_1 \pm C_2 = \{ x\pm y|x\in C_1, y\in C_2 \}$ 是凸集

问题： $S = \{x\in R^n | |p(t)|\leq1,|t|\leq \pi/3 \}$ ，其中

$p(t)= \sum^n_{i=1}x_i cosit$ 是否为凸集？

$-1\leq x_1cost +x_2cos2t+\cdots + x_n cosnt\leq 1$ 取交集

放射变换

假设f： $R^n \rightarrow R^m$ 是仿射函数，即 $f(x)=Ax+b,A\in R^{m\times n},b \in R^m$

C为凸集 $\Rightarrow f(C)=\{ f(x)| x \in C\}$ 是凸集
C为凸集 $\Rightarrow f^{-1}(C)=\{ x| f(x) \in C\}$ 是凸集

特殊仿射变换

放缩scaling:： $\alpha C=\{\alpha x| x\in C\}$
平移translation： $x_0+C =\{x_0+x|x\in C\}$
投影projection： $\{x^1| \binom{x^1}{x^2} \in C\}$

凸集基本性质：投影定理

设 $C\subset R^n$ 是一个非空闭凸集， $y\in R^n$ 但 $y \notin C$ ，则：

（1）存在唯一的一点 $\bar{x}\in C$ ，使得 $\bar {x}$ 是y到C的距离最小的点，即有

$\| \bar{x}-y\| = inf\{ \|x-y\| |x\in C \} >0$

（2） $\bar {x}$ 是y到C的最小距离点的充要条件是：

$(x-\bar{x})^T (x-\bar{x})\geq 0,\forall x\in C$

投影定理的证明：

不妨设， $\bar{x},x'$ 都是投影点，则： $\|y-\bar{x}\| = \|y-x'\|$

存在 $\tilde{x}$ ,在 $\bar{x},x'$ 两点之间，并作为连接三角形的中垂线，而小于其他两条边，从而小于投影点距离，矛盾！

因此投影点是唯一的

点与凸集的分离

设 $C_1,C_2$ 是两个非空凸集，若非零 $\alpha \in R^n$ 和b使得

$\alpha^Tx \geq b, \forall x\in C_1,\alpha^Tz \geq b, \forall z \in C_2$

则称超平面 $H=\{ x| \alpha^T x=b\}$ 分离集合 $C_1,C_2$

支撑超平面定理

设 $C\in R^n$ 是非空凸集， $\bar{x}\in \partial C$ 则存在非零向量 $\alpha \in R^n$ 使得

$\alpha ^T x \leq \alpha^T \bar{x}, \forall x\in clC$

此时，也称超平面 $H=\{ x\in R^n| \alpha^Tx = \alpha^T \bar{x} \}$ 是集合C在 $\bar{x}$ 处的支撑超平面

证明：

$\partial C$ ：集合C的边界点， intC：集合C包含的所有内点， clC：c的内点和边界点（集合C的闭包）

已知 $\bar{x}\in \partial C$ ，要证 $\exists \alpha \neq 0$ ，使得 $\alpha ^T x \leq \alpha^T \bar{x}, \forall x\in clC$

证：

由于 $\bar{x}\in \partial C$ ，则 $x_k \rightarrow \bar{x}$ （点列，收敛到 $\bar{x}$ ），且 $x_k \notin clc$ ,

$\because x_k \notin clc,\\$

则存在 $\alpha_k(\neq 0)$ （边界点法向量），使得：

$\alpha_k^Tx \leq \alpha_k^T x_k,\forall x \in clc$ （*）

不妨设， $\|\alpha_k\|=1$ ，则{ $\alpha_k$ }

（*）中令 $k \rightarrow \infty$ ,得 $\alpha^T x\leq \alpha^T \bar{x},\forall x\in clc$

最优化理论与方法-第二讲-凸集相关推荐

最优化理论与方法(part8)--凸集的分离和支撑
学习笔记,仅供参考,有错必纠文章目录最优化理论与方法凸集的分离和支撑定理 1.3.17(凸集外一点与闭凸集的极小距离) 定理 1.3.18 定理 1.3.19 定义 1.3.20(支撑超平面) ...
线性和非线性最优化理论、方法及应用研究的发展状况.
关注. 最优化的研究包含理论.方法和应用.最优化理论主要研究问题解的最优性条件.灵敏度分析.解的存在性和一般复杂性等.而最优化方法研究包括构造新算法.证明解的收敛性.算法的比较和复杂性等.最优化的应用 ...
最优化理论与方法(part11)--约束优化问题
学习笔记,仅供参考,有错必纠文章目录最优化理论与方法约束优化问题定义 8.1.1(可行点与可行域) 全局和局部极小值点积极与非积极最优化理论与方法约束优化问题定义 8.1.1(可行点与 ...
最优化理论与方法(part5)--函数和微分
学习笔记,仅供参考,有错必纠文章目录最优化理论与方法函数和微分连续可微和Hesse矩阵 d d d的方向导数 d d
最优化理论与方法(part4)--秩一校正
学习笔记,仅供参考,有错必纠文章目录最优化理论与方法秩一校正定理 1.2.6(Sherman-Morrison 定理) 定理 1.2.7(Sherman-Morrison-Woodburg 定 ...
最优化理论与方法(part3)--矩阵的Rayleigh商
学习笔记,仅供参考,有错必纠文章目录最优化理论与方法矩阵的Rayleigh商定义 1.2.4 定理 1.2.5 最优化理论与方法矩阵的Rayleigh商定义 1.2.4 备注: C C C ...
最优化理论与方法(part2)--矩阵求逆和广义逆
学习笔记,仅供参考,有错必纠文章目录最优化理论与方法矩阵求逆和广义逆定理 1.2.3 (von Neumann引理) 定理 1.2.3' 子空间最优化理论与方法矩阵求逆和广义逆定理 1. ...
最优化理论与方法学习笔记
最优化理论与方法参考学习资源:上海财经大学崔老师B站讲解视频以下是个人学习笔记,并不具有很强的参考性,具体学习书籍可参考<最优化理论与方法-袁亚湘> 大致分类: 1.无约束优化/约束优 ...
最优化理论与方法2--算法篇
本部分记录一些最优化理论中的常见算法. 1. 无约束规划研究无约束优化问题,对研究各类优化问题都有重要意义.因为可以有多种方法将各类等式或者不等式约束的优化问题转换为无约束优化问题,比如利用KKT条 ...

最优化理论与方法-第二讲-凸集

原文视频：https://www.bilibili.com/video/BV1rE411H7P6

凸集

举例：