Affine set 和 convex set 的定义

什么是 affine set
什么是 convex set
关于 convexity 的几个性质
什么是 convex hull
什么是 convex cone
- 什么是 cone
- 什么是 convex cone
参考文献

什么是 affine set

定义：假设有一个集合 C⊆RnC \subseteq \mathbb{R}^nC⊆Rn, 如果连接集合 CCC 当中的任何两点构成的直线也在集合 CCC 之中，那么我们就说集合 CCC 是一个 affine set。

如果用数学语言来表述，就是对于任何 x1,x2∈Cx_1, x_2 \in Cx1,x2∈C，对任意 θ∈R\theta \in \mathbb{R}θ∈R，我们有 θx1+(1−θ)x2∈C\theta x_1 + (1 - \theta) x_2 \in Cθx1+(1−θ)x2∈C。如果一个集合满足这个性质，我们就说这个集合是一个 affine set。

什么是 convex set

Convex set 的定义与 affine set 的定义类似，区别在于 convex set 要求连接集合 CCC 当中的任何两点构成的线段也在集合 CCC 之中。

定义：假设有一个集合 C∈RnC \in \mathbb{R}^nC∈Rn, 如果连接集合 CCC 当中的任何两点构成的线段也在集合 CCC 之中，那么我们就说集合 CCC 是一个 convex set。

用数学语言来描述，就是对于任何 x1,x2∈Cx_1, x_2 \in Cx1,x2∈C，对任意 0≤θ≤10 \leq \theta \leq 10≤θ≤1，我们有 θx1+(1−θ)x2∈C\theta x_1 + (1 - \theta) x_2 \in Cθx1+(1−θ)x2∈C。如果一个集合满足这个性质，我们就说这个集合是一个 convex set。

从空间结构上来说，对于一个 convex set，连接其中的两个点，所得到的线段也在这个 convex set 中。所以下图代表的集合就不是 convex set。

关于 convexity 的几个性质

除了定义，我们还有如下的几个关于 convexity 和 affine 的性质。

定理1：如果一个集合 C∈RnC \in \mathbb{R}^nC∈Rn 是一个 convex set，x1,x2,⋯,xkx_1, x_2, \, \cdots, x_kx1,x2,⋯,xk 是集合 CCC 里的 kkk 个点，那么对于 θ1+θ2+⋯+θk=1\theta_1 + \theta_2 + \cdots + \theta_k = 1θ1+θ2+⋯+θk=1, θi≥0,1≤i≤k\theta_i \geq 0, \, 1 \leq i \leq kθi≥0,1≤i≤k，我们有 θ1x1+θ2x2+⋯+θkxk\displaystyle \theta_1 x_1 + \theta_2 x_2 + \cdots + \theta_k x_kθ1x1+θ2x2+⋯+θkxk 也是集合 CCC 中的一个点。

也就是说，对于 convex set 的定义中的两个点的情况，我们可以推广到任意 kkk 个点的情况。

我们用数学归纳法来证明上面的定理。当 k=1k = 1k=1 时，结论自然成立。当 k=2k = 2k=2 时，就是 convex set 的定义。假设结论对 kkk 成立，k≥2k \geq 2k≥2，我们考虑 k+1k + 1k+1 的情况。令 A=θ1x1+θ2x2+⋯+θk+1xk+1A = \theta_1 x_1 + \theta_2 x_2 + \cdots + \theta_{k + 1} x_{k + 1}A=θ1x1+θ2x2+⋯+θk+1xk+1。对于 θ1,θ2,⋯θk+1\theta_1, \, \theta_2, \, \cdots \theta_{k + 1}θ1,θ2,⋯θk+1 这 k+1k + 1k+1 个数，一定有一个小于 1。方便起见，假设 θ1≠1\theta_1 \neq 1θ1=1。我们有

A=θ1x1+θ2x2+⋯+θk+1xk+1=θ1x1+(1−θ1)(θ21−θ1x2+θ31−θ1x3+⋯+θk+11−θ1xk+1)=θ1x1+(1−θ1)B\begin{aligned} A &=\theta_1 x_1 + \theta_2 x_2 + \cdots + \theta_{k + 1} x_{k + 1} \\ &= \theta_1 x_1 + (1 - \theta_1) \left( \frac{\theta_2}{1 - \theta_1} x_2 + \frac{\theta_3}{1 - \theta_1} x_3 + \cdots + \frac{\theta_{k + 1}}{1 - \theta_1} x_{k + 1} \right) \\ &= \theta_1 x_1 + (1 - \theta_1) B \end{aligned}A=θ1x1+θ2x2+⋯+θk+1xk+1=θ1x1+(1−θ1)(1−θ1θ2x2+1−θ1θ3x3+⋯+1−θ1θk+1xk+1)=θ1x1+(1−θ1)B

而 B=θ21−θ1x2+θ31−θ1x3+⋯+θk+11−θ1xk+1\displaystyle B = \frac{\theta_2}{1 - \theta_1} x_2 + \frac{\theta_3}{1 - \theta_1} x_3 + \cdots + \frac{\theta_{k + 1}}{1 - \theta_1} x_{k + 1}B=1−θ1θ2x2+1−θ1θ3x3+⋯+1−θ1θk+1xk+1，并且 θ21−θ1+θ31−θ1+⋯+θk+11−θ1=θ2+θ3+⋯+θk+11−θ1=1\displaystyle \frac{\theta_2}{1 - \theta_1} + \frac{\theta_3}{1 - \theta_1} + \cdots + \frac{\theta_{k + 1}}{1 - \theta_1} = \frac{\theta_2 + \theta_3 + \cdots + \theta_{k + 1}}{1 - \theta_1} = 11−θ1θ2+1−θ1θ3+⋯+1−θ1θk+1=1−θ1θ2+θ3+⋯+θk+1=1。应用我们的假设，结论对于 kkk 是成立的，所以 B∈CB \in CB∈C。从而 A∈CA \in CA∈C。也就是说，结论对于 k+1k + 1k+1 的情况也是成立的。□\square□

定理2：一个集合 C∈RnC \in \mathbb{R}^nC∈Rn 是一个 convex set，当且仅当集合 CCC 与任意直线的交集是一个 convex set。

我们先证明必要性。假设集合 C∈RnC \in \mathbb{R}^nC∈Rn 是一个 convex set。我们知道一条直线是一个 convex set。另外，我们知道，两个 convex set 的交集也是一个 convex set。从而，CCC 与任意直线的交集也是一个 convex set。

再证充分性。假设 x1,x2∈Cx_1, \, x_2 \in Cx1,x2∈C。因为集合 CCC 与任意直线的交集是一个 convex set，从而 CCC 与通过 x1,x2x_1, x_2x1,x2 的直线的交集也是一个 convex set。记这个交集为 DDD。那么由 x1x_1x1 与 x2x_2x2 构成的 convex combination，即 θx1+(1−θ)x2\theta x_1 + (1 - \theta) x_2θx1+(1−θ)x2，也在 DDD 之中。从而 θx1+(1−θ)x2\theta x_1 + (1 - \theta) x_2θx1+(1−θ)x2 也在 CCC 中。所以， CCC 是一个 convex set。

我们不难发现，上述两个定理的证明可以移植到 affine set 中去。所以我们也有。

定理3：如果一个集合 C∈RnC \in \mathbb{R}^nC∈Rn 是一个 affine set，x1,x2,⋯,xkx_1, x_2, \, \cdots, x_kx1,x2,⋯,xk 是集合 CCC 里的 kkk 个点，那么对于 θ1+θ2+⋯+θk=1\theta_1 + \theta_2 + \cdots + \theta_k = 1θ1+θ2+⋯+θk=1, θi≥0,1≤i≤k\theta_i \geq 0, \, 1 \leq i \leq kθi≥0,1≤i≤k，我们有 θ1x1+θ2x2+⋯+θkxk\displaystyle \theta_1 x_1 + \theta_2 x_2 + \cdots + \theta_k x_kθ1x1+θ2x2+⋯+θkxk 也是集合 CCC 中的一个点。

定理4：一个集合 C∈RnC \in \mathbb{R}^nC∈Rn 是一个 affine set，当且仅当集合 CCC 与任意直线的交集是一个 affine set。

什么是 convex hull

对于任意的一个集合 C∈RnC \in \mathbb{R}^nC∈Rn，我们都可以定义集合 CCC 的 Convex hull。那怎样定义集合 CCC 的 Convex hull 呢？

如果集合 C∈RnC \in \mathbb{R}^nC∈Rn，那么集合 CCC 的 convex hull 定义为
定义：convC={θ1x1+θ2x2+⋯θkxk∣xi∈C,θi≥0,i=1,2,⋯k,θ1+θ2+⋯+θk=1}\mathbf{conv} \, C = \{ \theta_1 x_1 + \theta_2 x_2 + \cdots \theta_k x_k \, | \, x_i \in C, \theta_i \geq 0, i = 1, \, 2, \, \cdots k, \theta_1 + \theta_2 + \cdots + \theta_k = 1 \}convC={θ1x1+θ2x2+⋯θkxk∣xi∈C,θi≥0,i=1,2,⋯k,θ1+θ2+⋯+θk=1}。

也就是说，convex hull 是由集合 CCC 之中所有点的 convex combination 所构成的集合。首先，convC\mathbf{conv} \, CconvC 是一个 convex set。这是因为如果
A=θ1x1+θ2x2+⋯+θixi,∑k=1iθk=1\displaystyle A = \theta_1 x_1 + \theta_2 x_2 + \cdots + \theta_i x_i, \, \sum_{k = 1}^i \theta_k = 1A=θ1x1+θ2x2+⋯+θixi,k=1∑iθk=1
B=τ1y1+τ2y2+⋯+τjyj,∑k=1jτk=1\displaystyle B = \tau_1 y_1 + \tau_2 y_2 + \cdots + \tau_j y_j, \, \sum_{k = 1}^j \tau_k = 1B=τ1y1+τ2y2+⋯+τjyj,k=1∑jτk=1，
那么，对于 α∈[0,1]\alpha \in [0, 1]α∈[0,1]，

αA+(1−α)B=αθ1x1+⋯+αθixi+(1−α)τ1y1+⋯+(1−α)τjyj\alpha A + (1 - \alpha) B = \alpha \theta_1 x_1 + \cdots + \alpha \theta_i x_i + (1 - \alpha) \tau_1 y_1 + \cdots + (1 - \alpha) \tau_j y_jαA+(1−α)B=αθ1x1+⋯+αθixi+(1−α)τ1y1+⋯+(1−α)τjyj。

所有的 xk,ykx_k, y_kxk,yk 项的系数相加为 α(θ1+θ2+⋯+θi)+(1−α)(τ1+τ2+⋯+τj)=α+1−α=1\alpha(\theta_1 + \theta_2 + \cdots + \theta_i) + (1 - \alpha) (\tau_1 + \tau_2 + \cdots + \tau_j) = \alpha + 1 - \alpha = 1α(θ1+θ2+⋯+θi)+(1−α)(τ1+τ2+⋯+τj)=α+1−α=1。

从而，αA+(1−α)B∈convC\alpha A + (1 - \alpha) B \in \mathbf{conv} \, CαA+(1−α)B∈convC。这就证明了 convC\mathbf{conv} \, CconvC 是一个 convex set。

事实上， convC\mathbf{conv} \, CconvC 是所有包含 CCC 的 convex sets 当中最小的那个。也就是说，如果 C⊆BC \subseteq BC⊆B，且 BBB 是一个 convex set，那么 convC⊆B\mathbf{conv} \, C \subseteq BconvC⊆B。

这个证明也很直接。这里就从略了。

同样的，我们可以把 convex 换成 affine，上述定义和结论对于 affine 的情况也是成立的。

什么是 convex cone

为了定义 convex cone，我们先来定义 cone。

什么是 cone

定义：一个集合 C∈RnC \in \mathbb{R}^nC∈Rn，如果对任意 x∈Cx \in Cx∈C，以及任意 θ≥0\mathbb{\theta \geq 0}θ≥0，我们都有 θx∈C\theta x \in Cθx∈C，那么集合 CCC 就是一个 cone。

通过定义我们发现，原点 0\mathbb{0}0 肯定是属于一个 cone 的。

什么是 convex cone

而对于 convex cone，其定义就是如果一个集合 C∈RnC \in \mathbb{R}^nC∈Rn 既是一个 convex set，而且还是一个 cone，那么这个集合就是 convex cone。

对于 convex cone，我们有下面的一个性质。

如果集合 CCC 是一个 convex cone，那么对于任意 x1,x2∈Cx_1, x_2 \in Cx1,x2∈C, 以及任意 θ1≥0,θ2≥0\theta_1 \geq 0, \, \theta_2 \geq 0θ1≥0,θ2≥0，我们有 θ1x1+θ2x2∈C\theta_1 x_1 + \theta_2 x_2 \in Cθ1x1+θ2x2∈C。

怎么证明这个结论呢？因为 CCC 是一个 cone，所以对于任意 λ≥0,μ≥0\lambda \geq 0, \, \mu \geq 0λ≥0,μ≥0，我们有 λx1∈C\lambda x_1 \in Cλx1∈C, μx2∈C\mu x_2 \in Cμx2∈C。而 CCC 又是一个 convex set，于是对于任意 α∈[0,1]\alpha \in [0, 1]α∈[0,1]，我们有 αλx1+(1−α)μx2∈C\alpha \lambda x_1 + (1 - \alpha) \mu x_2 \in Cαλx1+(1−α)μx2∈C。注意这里 λ,μ\lambda, \, \muλ,μ 可以是任意实数，而 α\alphaα 是任意在 [0, 1] 之间的实数。从而对于任意 θ1,θ2≥0\theta_1, \theta_2 \geq 0θ1,θ2≥0，我们总可以找到 λ,μ\lambda, \, \muλ,μ 以及 α\alphaα，使得

{θ1=αλθ2=(1−α)μ\begin{cases} \theta_1 = \alpha \lambda \\ \theta_2 = (1 - \alpha) \mu \end{cases}{θ1=αλθ2=(1−α)μ

从而，对于任意 θ1≥0,θ2≥0\theta_1 \geq 0, \, \theta_2 \geq 0θ1≥0,θ2≥0，我们就证明了 θ1x1+θ2x2∈C\theta_1 x_1 + \theta_2 x_2 \in Cθ1x1+θ2x2∈C。

参考文献

Convex optimization, Chapter 1, Stephen Boyd, Lieven Vandenberghe, Cambridge University Press, (2004)

Affine set 和 convex set 的定义相关推荐

椭圆是一个凸集的证明
椭圆是一个凸集的证明常见的凸集椭圆是凸集的证明从定义上证明椭圆是一个凸集合从 norm 的角度去看 ellipsoid Mahalanobis norm 椭圆是一个 norm ball 从仿射 ...
【Convex Optimization (by Boyd) 学习笔记】Chapter 2 - Convex sets(1) 仿射集凸集
I. 仿射凸集(Affine and convex sets) 1. 线与线段假设\(R^n\)空间内两点\(x_1,x_2\, (x_1≠x_2)\),那么\(y=\theta x_1+(1-\t ...
Convex Optimization: 2 Convex sets
本篇为凸优化的课程笔记. 文章目录 Affine set 仿射集 Convex set 凸集 Convex combination and convex hull 凸组合与凸包 Convex cone ...
【凸优化笔记一】仿射集+凸集+锥
[凸优化笔记一]仿射集+凸集+锥引言直线&线段直线的定义线段的定义仿射集 Affine Sets 与C相关的子空间线性方程组的解集是仿射集零空间仿射包 Affine Hull ...
凸优化一（基本概念介绍）
背景知识优化问题凸优化是一类数学优化问题,介绍凸优化前先简单介绍数学优化问题. 优化问题定义(形式): minimizef0minimizef0 minimize \quad f_{0} subj ...
仿射，仿射集，子空间
学习凸优化的过程中,首先要接触到仿射集与凸集的定义,非常有必要完全理解. 文章目录一.仿射集(Affine set),凸集(Convex set)定义二.子空间(Subspace) 三.仿射包(a ...
机器学习过拟合---范数
过拟合产生的原因: ①假设过于复杂②噪音数据③数据规模太小解决过拟合的方案:数据清洗(将错误的lable纠正或者删除错误的数据),伪造更多的数据,正则化,验正正则化--范数:转自http://bl ...
机器学习中的规则化范数(L0, L1, L2, 核范数)
今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化.我们先简单的来理解下常用的L0.L1.L2和核范数规则化.最后聊下规则化项参数的选择问题.这里因为篇幅比较庞大,为了不吓到大家,我将这个五个 ...
【十大经典数据挖掘算法】EM
作者简介: Treant 人工智能爱好者社区专栏作者博客专栏:https://www.cnblogs.com/en-heng 1.极大似然极大似然(Maximum Likelihood)估计为用于 ...
十大经典数据挖掘算法：EM
作者简介: Treant 人工智能爱好者社区专栏作者博客专栏:https://www.cnblogs.com/en-heng 1.极大似然极大似然(Maximum Likelihood)估计为用于 ...

Affine set 和 convex set 的定义

Affine set 和 convex set 的定义

什么是 affine set

什么是 convex set

关于 convexity 的几个性质

什么是 convex hull

什么是 convex cone

什么是 cone

什么是 convex cone

参考文献

Affine set 和 convex set 的定义相关推荐

最新文章

热门文章