【凸优化笔记一】仿射集+凸集+锥

引言
直线&线段
- 直线的定义
- 线段的定义
仿射集 Affine Sets
- 与C相关的子空间
- 线性方程组的解集是仿射集
- 零空间
- 仿射包 Affine Hull
凸集 Convex Set
- 凸包 Convex Hull
锥 Cone
- 凸锥包
总结

引言

最近开始接触凸优化问题，发现自己这块知识点处于零散的认知阶段，所以配合着哔站上的课程，以及相应配套的书籍进行学习。
哔站链接传送门：中科大-凸优化
推荐的书籍有以下三本：
Convex Optimization Stephen Boyd, Lieven Vandenberghe
Nonlinear Programming, Second Edition Dimitri Bertsekas
Parallel and Distributed Computation:Numerical Methods Dimitri Bersekas, John Tsitsiklis

接下来的学习以及引用也主要来自于这三本书。

直线&线段

直线和线段是我们自从接触小学初中的几何问题以来，最常见也是最基本的概念，为什么在这里还需要重新提一下这两个概念呢？
首先，正是因为其基础，方便大家形成螺旋式上升的模式；其次，这两个概念必然为后续的一些概念打下了铺垫和引理的作用；最后，请用数学的语言来表达高维空间上的直线和线段的定义。（这里思考片刻，曾经在初高中时期，我们应该是学习过二维平面上的直线的定义的吧，试试能够完整的写下来）

直线的定义

{X1≠X2∈Rn,θ∈R,Y=θX1+(1−θ)X2=X2+θ(X1−X2),\begin{equation} \left\{ \begin{array}{lr} X_1 \neq X_2 \in R^n, & \\ \theta \in R,& \\ Y=\theta X_1+(1-\theta)X_2=X_2+\theta (X_1-X_2), & \end{array} \right. \end{equation} ⎩⎨⎧X1=X2∈Rn,θ∈R,Y=θX1+(1−θ)X2=X2+θ(X1−X2),

线段的定义

由于线段是直线的一部分，所以仅需在直线的定义下稍加限制即可满足线段定义
{X1≠X2∈Rn,θ∈R,θ∈[0,1]Y=θX1+(1−θ)X2=X2+θ(X1−X2),\begin{equation} \left\{ \begin{array}{lr} X_1 \neq X_2 \in R^n, & \\ \theta \in R,\theta \in [0,1]& \\ Y=\theta X_1+(1-\theta)X_2=X_2+\theta (X_1-X_2), & \end{array} \right. \end{equation} ⎩⎨⎧X1=X2∈Rn,θ∈R,θ∈[0,1]Y=θX1+(1−θ)X2=X2+θ(X1−X2),

仿射集 Affine Sets

正式进入正文，仿射集，有以下定义形式
一个集合C是仿射集，若∀X1,X2∈C{\forall}X_1, X_2\in C∀X1,X2∈C，则连接X1,X2X_1, X_2X1,X2的直线也在集合中；换言之，线性组合两点（可以思考成向量）依然在集合C中。
以上定义，可被扩大为X1,...,XkX_1, ..., X_kX1,...,Xk的仿射组合。

与C相关的子空间

由于往往在现实问题中，当得到某仿射集后，认为性质不够好，可以通过减掉其集合中的一个元素，即可获得与C相关的子空间，V。由此不再收到仿射集定义中1的限制。
以下是定义及其证明

线性方程组的解集是仿射集

以下是证明过程
上图中最后一句也说明了，小标题是一充分必要条件。

零空间

结合以上的与C相关的子空间V以及线性方程组的解集是仿射集，可以有以下推演

值得注意的是，V中任意元素都是A的零空间。

仿射包 Affine Hull

任意集合C，构成尽可能小的仿射集，即为仿射包

凸集 Convex Set

一个集合C是凸集，当任意两点之间的线段仍在C内。

其中，值得注意的是，仿射集是凸集的特例。以二维平面上的一个圆为例，不难发现，圆是凸集，但不是仿射集。这里可以简易的认为，需要满足凸集的要求比仿射集低，所以仿射集是凸集的特例，仿射集一定是凸集，凸集不一定是仿射集。从定义角度的需要包含的直线和线段中，也可以说明两者的关系。

凸包 Convex Hull

书里面，在对凸包定义的时候，看似没有对θ\thetaθ上限进行范围限制；不过在根据二维定义或者多维中的所有θ\thetaθ之和为1，可以推算出来θ\thetaθ限制在0~1之间。
以下是针对一个集合，所构建的凸包

锥 Cone

C是锥的定义
∀X∈C,θ≥0,有θX∈C\forall X\in C,\theta \geq0,有\theta X\in C ∀X∈C,θ≥0,有θX∈C
C是凸锥的定义
∀X1,X2∈C,θ1,θ2≥0,有θ1X1+θ2X2∈C\forall X_1,X_2\in C,\theta _1,\theta _2\geq0,有\theta _1X_1+\theta _2X_2\in C ∀X1,X2∈C,θ1,θ2≥0,有θ1X1+θ2X2∈C

凸锥包

以下是针对一个集合，所构建的凸锥包

总结

以上主要是对仿射集、凸集、凸锥等概念及其广义化性质进行展示，并且通过几个典型的例子加以说明三者的区别。

【凸优化笔记一】仿射集+凸集+锥相关推荐

凸优化笔记(1) —— 基本概念
凸优化笔记 -- 基本概念之凸集 1. 数学优化基本概念 2.1 凸优化问题 2.2 线性函数与凸函数 2.3 凸集仿射集. 2.3.2 凸集 2.3.3锥三种集合的比较: 基本准备本科没学过 ...
【凸优化笔记二】凸函数基本性质和例子
[凸优化笔记二]凸函数基本性质和例子凸函数的四个定义定义一定义二定义三定义四一些栗子凸函数的四个定义定义一其中 dom fff 是函数 fff 的定义域(前域),为凸集--这个很重 ...
中科大-凸优化笔记（lec25）-等价变换
全部笔记的汇总贴(视频也有传送门):中科大-凸优化 ∇fT(x∗)(y−x)≥0\nabla f^T(x^*)(y-x)\ge0∇fT(x∗)(y−x)≥0线性规划的解在边界上一.等价变换例:食谱 ...
中科大-凸优化笔记（lec9）-广义不等式、分离与支撑超平面、对偶锥与广义不等式
全部笔记的汇总贴(这一节的视频缺失):中科大-凸优化内容是自己看书上的三节整理的,和前面几节一样,算是一些基础性的理论知识. 只能说这一块儿先就这样,后面的课程如果遇到需要进行补充学习的地方,再进行 ...
中科大-凸优化笔记（lec44）-一些上界下界及梯度下降
全部笔记的汇总贴(视频也有传送门):中科大-凸优化一.强凸性假设 f ( x ) f(x) f(x)二阶可微且有强凸性 ∃ m > 0 , ∀ x ∈ d o m f , ∇ 2 f ( x ...
凸优化学习：PART1凸集
凸优化学习PART1 一.引言:优化问题简介优化问题的定义凸优化是优化的一种,是优化中比较容易的问题.在讲解优化问题前,首先说明什么是优化/数学规划(Optimization/Mathematic ...
凸优化基础学习：凸集、凸函数、凸规划理论概念学习
凸优化基础概念学习 1.计算几何是研究什么的? 2.计算几何理论中(或凸集中)过两点的一条直线的表达式,是如何描述的?与初中数学中那些直线方程有什么差异?有什么好处? 3.凸集是什么? 直线是凸集吗? ...
凸优化、最优化、凸集、凸函数
原文:https://www.cnblogs.com/AndyJee/p/5048735.html 我们知道压缩感知主要有三个东西:信号的稀疏性,测量矩阵的设计,重建算法的设计.那么,在重建算法中,如 ...
凸优化笔记（一）：仿射集，凸集与锥
一.直线和线段设为空间中的两个点. 直线: 线段: 二.仿射集(Affine Set)凸集(Convex Set)和锥(Cones) 仿射集仿射集:通过集合中任意两个不同点的直线仍然在集合C中,则 ...

【凸优化笔记一】仿射集+凸集+锥

【凸优化笔记一】仿射集+凸集+锥

引言

直线&线段

直线的定义

线段的定义

仿射集 Affine Sets

与C相关的子空间

线性方程组的解集是仿射集

零空间

仿射包 Affine Hull

凸集 Convex Set

凸包 Convex Hull

锥 Cone

凸锥包

总结

【凸优化笔记一】仿射集+凸集+锥相关推荐

最新文章

热门文章