漫步凸分析十一—

令C1,C2C_1,C_2是RnR^n中的非空集合，有一个超平面HH，如果C1C_1含于其中的一个闭半空间而C2C_2含于相对立的闭半空间，那么我们称HH分离(separate)C1,C2C_1,C_2；如果C1,C2C_1,C_2 都不含于HH，那么我们成HH真(properly)分离C1,C2C_1,C_2；如果存在ε>0\varepsilon>0使得C1+εBC_1+\varepsilon B含于一个开半空间而C2+εBC_2+\varepsilon B含于相对立的开半空间，其中BB是单位欧几里得球{x||x|≤1}\{x||x|\leq 1\}，那么我们称HH强(strongly)分离C1,C2C_1,C_2。(当然，Ci+εBC_i+\varepsilon B是由这样的点xx组成的，至少有点y∈Ciy\in C_i使得|x−y|≤ε|x-y|\leq\varepsilon)

有时候也会考虑其他类别的分离，例如严格(strict)分离，此时C1,C2C_1,C_2属于对立的开半空间。然而因为真分离与强分离非常自然地对应于线性代数中的极值，所以目前为止这两种是最有用的。

定理11.1\textbf{定理11.1} 令C1,C2C_1,C_2是RnR^n中的非空集，当且仅当存在向量bb使得

inf{⟨x,b⟩|x∈C1}≥sup{⟨x,b⟩|x∈C2}\inf\{\langle x,b\rangle|x\in C_1\}\geq\sup\{\langle x,b\rangle|x\in C_2\}
- sup{⟨x,b⟩|x∈C1}>inf{⟨x,b⟩|x∈C2}\sup\{\langle x,b\rangle|x\in C_1\}>\inf\{\langle x,b\rangle|x\in C_2\}
- 那么存在一个超平面，它真分离C1,C2C_1,C_2。
  当且仅当存在一个向量bb使得
  \quad3. inf{⟨x,b⟩|x∈C1}>sup{⟨x,b⟩|x∈C2}\inf\{\langle x,b\rangle|x\in C_1\}>\sup\{\langle x,b\rangle|x\in C_2\}
  
  那么存在一个超平面，它强分离C1,C2C_1,C_2。
  
  证明：\textbf{证明：}假设bb满足条件(a),(b)(a),(b)并选择C1C_1上极小值与C2C_2上极大值之间任意值β\beta。那么我们有b≠0,β∈Rb\neq0,\beta\in R，H={x|⟨x,b⟩=β}H=\{x|\langle x,b\rangle=\beta\}是一个超平面(定理1.3)。半空间{x|⟨x,b⟩≥β}\{x|\langle x,b\rangle\geq\beta\}包含C1C_1，而{x|⟨x,b⟩≤β}\{x|\langle x,b\rangle\leq\beta\}包含C2C_2，条件(b)(b)表明C1,C2C_1,C_2并非都含于HH，所以HH真分离C1,C2C_1,C_2。
  
  反过来，当C1,C2C_1,C_2能被真分离时，分离超平面与包含C1,C2C_1,C_2的闭半空间可以只用b,βb,\beta来描述，即对于每个x∈C1,⟨x,b⟩≥βx\in C_1,\langle x,b\rangle\geq\beta，对于每个x∈C2,⟨x,b⟩≤βx\in C_2,\langle x,b\rangle\leq\beta，且至少有一个x∈C1x\in C_1或x∈C2x\in C_2使得严格不等式成立，所以bb满足条件(a),(b)(a),(b)。
  
  如果bb满足条件(c)(c)，我们可以选择β∈R,δ>0\beta\in R,\delta>0使得对于每个x∈C1,⟨x,b⟩≥β+δx\in C_1,\langle x,b\rangle\geq\beta+\delta并且对每个x∈C2,⟨x,b⟩≤β−δx\in C_2,\langle x,b\rangle\leq\beta-\delta。因为单位球BB是有界的，所以ε\varepsilon可以选择足够小使得对于每个εB\varepsilon B中的yy满足|⟨y,b⟩|<δ|\langle y,b\rangle|，那么
  
  C1+εB⊂{x|⟨x,b⟩>β}C2+εB⊂{x|⟨x,b⟩<β}
  
  \begin{align*} &C_1+\varepsilon B\subset\{x|\langle x,b\rangle>\beta\}\\ &C_2+\varepsilon B\subset\{x|\langle x,b\rangle
  
  这样的话H={x|⟨x,b⟩=β}H=\{x|\langle x,b\rangle=\beta\}强分离C1,C2C_1,C_2。反过来，如果C1,C2C_1,C_2被强分离，那么对于某个b,β,ε>0b,\beta,\varepsilon>0，刚刚描述的包含关系是成立的，那么
  
  β≤inf{⟨x,b⟩+ε⟨y,b⟩|x∈C1,y∈B}<inf{⟨x,b⟩|x∈C1}β≥sup{⟨x,b⟩+ε⟨y,b⟩|x∈C2,y∈B}>sup{⟨x,b⟩|x∈C2}
  
  \begin{align*} &\beta\leq\inf\{\langle x,b\rangle+\varepsilon\langle y,b\rangle|x\in C_1,y\in B\}\sup\{\langle x,b\rangle|x\in C_2\} \end{align*}
  
  所以条件(c)(c)成立。||||
  
  两个集合可否被分离是一个存在问题，所以这就是为何分离理论中许多出名的应用都出现在各种存在定理的证明中。最典型的情况就是需要求出满足某种性质的向量bb，此时我们可以构造一对凸集C1,C2C_1,C_2使得问题中的向量bb对应于分离C1,C2C_1,C_2的超平面。
  
  RnR^n中分离超平面的存在性是一个相对基本的问题，不牵涉到选择公理，我们在下面定理的证明中给出了基本构造方法。
  
  定理11.2\textbf{定理11.2} 令CC是RnR^n中非空相对开凸集，令MM是RnR^n中非空仿射集且不与CC相交，那么存在一个包含MM的超平面，使得一个开半空间包含CC。
  
  证明：\textbf{证明：}如果MM本身是超平面，那么有一个开半空间肯定包含CC，否则的话CC将与CC相交，这就与假设矛盾。(如果CC包含两个对立开半空间的点x,yx,y，那么这两点之间线段上的点将位于半空间的边界上)假设MM不是超平面，那么我们将说明如果构造一个比MM维数高且与CC不相交的仿射集M′M^{'}，这个构造法在nn步或不到nn步后给出一个满足要求的超平面HH，这样的话就证明了该定理。
  
  我们假设0∈M0\in M(如果需要的话可以进行平移)，这样的话MM 是一个子空间，凸集C−MC-M包含CC但不含0。因为MM不是超平面，所以子空间M⊥M^{\perp}包含一个二维子空间PP，令M′=P∩(C−M)M^{'}=P\cap(C-M)，这是PP中的一个相对开凸集(推论6.5.1与推论6.6.2)，并且它不包含0。接下来我们要做的就是在PP中找到一条通过0的直线LL且与C′C^{'}不相交，这样的话M′=M+LM^{'}=M+L将是维数高于MM且与CC不相交的子空间。(实际上，(M+L)∩C≠∅(M+L)\cap C\neq\emptyset意味着L∩(C−M)≠∅L\cap(C-M)\neq\emptyset，这与L∩C′=∅L\cap C^{'}=\emptyset 是矛盾的)为简单起见，我们将平面PP看成R2R^2，如果C′C^{'}是空集或零维，那么直线LL显然存在，如果aff C′\text{aff}\ C^{'}是不包含0的直线，我们将LL取为过0 的平行线，如果aff C′\text{aff}\ C^{'}是包含0的直线，那么我们将LL取为过0的垂线。对于剩余的情况，C′C^{'}是二维的且是开的。集合K=∪{λC′|λ>0}K=\cup\{\lambda C^{'}|\lambda>0\}是包含C′C^{'}的最小凸锥(推论2.6.3)，因为它是开集的并所以它也是开集，而且还不包含0，因此KK是R2R^2中角度不超过π\pi的开扇形，我们将LL取成延伸扇形一条边界得到的线。||||
  
  主要的分离定理如下。
  
  定理11.3\textbf{定理11.3} 令C1,C2C_1,C_2是RnR^n中的非空凸集，要想存在一个真分离C1,C2C_1,C_2的超平面，充分必要条件是ri C1,ri C2\text{ri}\ C_1,\text{ri}\ C_2没有公共点。
  
  证明：\textbf{证明：}考虑凸集C=C1−C2C=C_1-C_2，根据推论6.6.2，它的相对内部是ri C1−ri C2\text{ri}\ C_1-\text{ri}\ C_2，所以当且仅当ri C1,ri C2\text{ri}\ C_1,\text{ri}\ C_2没有公共点时，0∉ri C0\notin\text{ri}\ C。接下来，如果0∉ri C0\notin\text{ri}\ C，那么根据前面的定理存在一个包含M={0}M=\{0\}的超平面使得ri C\text{ri}\ C包含在一个开半空间中；那么半空间的闭包包含CC，因为C⊂cl(ri C)C\subset\text{cl}(\text{ri}\ C)，所以如果0∉ri C0\notin\text{ri}\ C那么存在向量bb使得
  
  0≤infx∈C⟨x,b⟩=infx1∈C1⟨x1,b⟩−supx2∈C2⟨x2,b⟩0<supx∈C⟨x,b⟩=supx1∈C1⟨x1,b⟩−infx2∈C2⟨x2,b⟩
  
  \begin{align*} &0\leq\inf_{x\in C}\langle x,b\rangle=\inf_{x_1\in C_1}\langle x_1,b\rangle-\sup_{x_2\in C_2}\langle x_2,b\rangle\\ &0
  
  根据定理11.1这就意味着C1,C2C_1,C_2可以真分离。反过来这些条件意味着0∉ri C0\notin\text{ri}\ C，因为这说明包含CC半空间D={x|⟨x,b⟩≥0}D=\{x|\langle x,b\rangle\geq0\}的存在性，它的内部ri D={x|⟨x,b⟩>0}\text{ri}\ D=\{x|\langle x,b\rangle>0\}与CC相交，在这种情况中ri C⊂ri D\text{ri}\ C\subset\text{ri}\ D(推论6.5.2)。||||
  
  对于真分离，集合最多有一个可以包含在分离超平面中，如R2R^2中的集合
  
  C1={(ξ1,ξ2)|ξ1>0,ξ2≥ξ−11}C1={(ξ1,0)|ξ1≥0}
  
  \begin{align*} &C_1=\{(\xi_1,\xi_2)|\xi_1>0,\xi_2\geq\xi_1^{-1}\}\\ &C_1=\{(\xi_1,0)|\xi_1\geq0\} \end{align*}
  
  这些集合是不相交的，唯一的分离超平面是ξ1\xi_1轴，它包含C2C_2，这个例子还说明不相交的闭集不一定能被强分离。
  
  定理11.4\textbf{定理11.4}令C1,C2C_1,C_2是RnR^n中的非空凸集，要想存在强分离C1,C2C_1,C_2的超平面，充分必要条件是
  
  inf{|x1−x2||x1∈C1,x2∈C2}>0
  
  \inf\{|x_1-x_2||x_1\in C_1,x_2\in C_2\}>0
  
  换句话说0∉cl(C1−C2)0\notin\text{cl}(C_1-C_2)。
  
  证明：\textbf{证明：}如果C1,C2C_1,C_2可以被强分离，那么对于某个ε>0,C1+εB\varepsilon>0,C_1+\varepsilon B与C2+εBC_2+\varepsilon B不相交。另一方面，如果后者成立，那么根据前面的定理C1+εBC_1+\varepsilon B与C2+εBC_2+\varepsilon B可以被强分离。因为对于ε′=ε/2,εB=ε′B+ε′B\varepsilon^{'}=\varepsilon/2,\varepsilon B=\varepsilon^{'}B+\varepsilon^{'}B，所以集合(C1+ε′B)+ε′B(C_1+\varepsilon^{'}B)+\varepsilon^{'}B与(C2+ε′B)+ε′B(C_2+\varepsilon^{'}B)+\varepsilon^{'}B属于对立的闭半空间，这样的话C1+ε′BC_1+\varepsilon^{'}B与C2+ε′BC_2+\varepsilon^{'}B在对立的闭半空间，因此当且仅当对ε>0\varepsilon>0，原点不属于集合
  
  (C1+εB)−(C2+εB)=C1−C2−2εB
  
  (C_1+\varepsilon B)-(C_2+\varepsilon B)=C_1-C_2-2\varepsilon B
  
  时，C1,C2C_1,C_2可以被强分离。这个条件意味着对于某个ε。0\varepsilon。0
  
  2εB∩(C1−C2)=∅
  
  2\varepsilon B\cap(C_1-C_2)=\emptyset
  
  换句话说0∉cl(C1−C2)0\notin\text{cl}(C_1-C_2)。||||
  
  推论11.4.1\textbf{推论11.4.1} 令C1,C2C_1,C_2是RnR^n中非空不相交闭凸集且没有公共的回收方向，那么存在一个超平面强分离C1,C2C_1,C_2。
  
  证明：\textbf{证明：}因为C1,C2C_1,C_2不相交，所以我们有0∉(C1−C2)0\notin(C_1-C_2)，但是根据推论9.1.2，在回收条件下cl(C1−C2)=C1−C2\text{cl}(C_1-C_2)=C_1-C_2。||||
  
  推论11.4.2\textbf{推论11.4.2} 令C1,C2C_1,C_2是RnR^n中的非空凸集，其闭包是不相交，如果有一个集合是有界的，那么出在超平面强分离C1,C2C_1,C_2。
  
  证明：\textbf{证明：}将第一个推论应用到cl C1,cl C2\text{cl}\ C_1,\text{cl}\ C_2上，其中有一个没有回收方向。||||
  
  凸多面体的分离结果会将在推论19.3.3，定理20.2，推论20.3.1与定理22.6中给出。
  
  弱线性不等式组⟨x,bi⟩≤βi,∈I\langle x,b_i\rangle\leq\beta_i,\in I 的解集xx是闭凸集，因为它是闭半空间的交集。现在我们将说明RnR^n中每个闭凸集可以表示成这样的解集。
  
  定理11.5\textbf{定理11.5} 闭凸集CC是包含它的半空间之交。
  
  证明：\textbf{证明：}我们可以假设∅≠C≠Rn\emptyset\neq C\neq R^n，因为否则的话定理明显成立。给定任意a∉Ca\notin C，集合C1={a},C2=CC_1=\{a\},C_2=C满足定理11.4中的条件，因此存在一个强分离{a},C\{a\},C的超平面，包含CC的闭半空间不包含aa，所以包含CC闭半空间的交除了CC中的点外不包含其他点。||||
  
  推论11.5.1\textbf{推论11.5.1} 令SS是RnR^n的任意子集，那么cl(conv S)\text{cl}(\text{conv}\ S)是包含SS的闭半空间值交。
  
  证明：\textbf{证明：}闭半空间包含C=cl(conv S)C=\text{cl}(\text{conv}\ S)当且仅当它包含SS。
  
  推论11.5.2\textbf{推论11.5.2} 令CC是RnR^n的凸子集但不是RnR^n 本身，那么存在一个包含CC的闭半空间。换句话说，存在b∈Rnb\in R^n使得线性函数⟨⋅,b⟩\langle\cdot,b\rangle在CC上有上界。
  
  证明：\textbf{证明：}假设表明cl≠Rn\text{cl}\neq R^n(否则的话Rn=ri(cl C)⊂CR^n=\text{ri}(\text{cl}\ C)\subset C)。根据定理，一个点属于cl C\text{cl}\ C当且仅当它属于包含cl C\text{cl}\ C 的每个闭半空间，所以包含cl C\text{cl}\ C的闭半空间不会为空。||||
  
  定理11.5的深入版本会在定理18.8中给出。
  
  切的几何概念是分析中最重要的工具之一，曲线的切线与曲面的切平面一般用微分的形式定义。在凸分析中，我们利用相反的方法，广义切在几何上用分离来定义，之后这个概念发展成广义微分理论。
  
  广义切表示为支撑超平面与半空间，令CC是RnR^n中的凸集，CC的支撑半空间是包含CC的闭半空间，且有一个点在CC的边界上。CC的支撑超平面就是CC支撑半空间的边界，它本身是一个超平面。换句话说，CC的支撑超平面可以表示成H={x|⟨x,b⟩=β},b≠0H=\{x|\langle x,b\rangle=\beta\},b\neq0其中对于每个x∈C,⟨x,b⟩≤βx\in C,\langle x,b\rangle\leq\beta且至少有一个点x∈Cx\in C使得⟨x,b⟩=β\langle x,b\rangle=\beta，因此CC的支撑超平面与一个线性函数有关，该函数找到CC上的最大值。经过给定点a∈Ca\in C的支撑超平面对应于向量bb，它是CC在aa处的法向量。
  
  如果CC不是nn维的，这样的话aff C≠Rn\text{aff}\ C\neq R^n，所以我们总是可以将aff C\text{aff}\ C扩展成包含CC的超平面，这样的支撑超平面我们几乎不感兴趣，所以我们只讨论非平凡(non-trivial)的支撑超平面即不包含CC本身。
  
  定理11.6\textbf{定理11.6} 令CC是一个凸集，DD是CC的一个非空凸子集(例如，由单点组成的子集)。要想存在一个CC的非平凡支撑超平面且包含DD，充分必要条件是DD与ri C\text{ri}\ C不相交。
  
  证明：\textbf{证明：}因为D⊂CD\subset C，所以CC的非平凡支撑超平面(包含DD)与真分离D,CD,C的超平面是一样的。根据定理11.3，这样的超平面存在，当且仅当ri D\text{ri}\ D与ri C\text{ri}\ C不相交，这个条件等价于DD与ri C\text{ri}\ C不相交(推论6.5.2)。||||
  
  推论11.6.1\textbf{推论11.6.1}凸集在其所有边界点上有非零法向量。
  
  推论11.6.2\textbf{推论11.6.2}令CC是凸集，x∈Cx\in C是CC的相对边界点，当且仅当存在一个线性函数hh使得hh实现的作用是：CC上xx点达到最大值，并且hh不是CC上的常函数。
  
  前面的结果在凸锥的情况下可以重新定义。
  
  定理11.7\textbf{定理11.7} 令C1,C2C_1,C_2是RnR^n中的非空子集，至少有一个是锥。如果存在一个超平面真分离C1,C2C_1,C_2，那么存在一个超平面真分离C1,C2C_1,C_2且过原点。
  
  证明：\textbf{证明：}假设C2C_2是锥。如果C1,C2C_1,C_2可以被真分离，那么存在一个向量bb，其满足定理11.1的前两个条件。令
  
  β=sup{⟨x,b⟩|x∈C2}
  
  \beta=\sup\{\langle x,b\rangle|x\in C_2\}
  
  那么，正如定理11.1中的证明，集合
  
  H={x|⟨x,b⟩=β}
  
  H=\{x|\langle x,b\rangle=\beta\}
  
  是真分离C1,C2C_1,C_2的超平面。因为C2C_2是锥，所以
  
  λ⟨x,b⟩=⟨λx,b⟩≤β<∞,∀x∈C2,∀λ>0
  
  \lambda\langle x,b\rangle=\langle\lambda x,b\rangle\leq\beta0
  
  这表明β≥0\beta\geq0且对每个C2C_2中的x,⟨x,b⟩≤0x,\langle x,b\rangle\leq0，因此β=0,0∈H\beta=0,0\in H。||||
  
  推论11.7.1\textbf{推论11.7.1} RnR^n中的非空闭凸锥是包含它的齐次闭半空间的交(齐次半空间其边界上有原点)。
  
  证明：\textbf{证明：}利用定理来提炼定义11.5的证明。||||
  
  推论11.7.2\textbf{推论11.7.2} 令SS是RnR^n中的任意子集，KK是由SS生成的凸锥的闭包，那么KK是所有包含SS的齐次闭半空间的交。
  
  证明：\textbf{证明：}齐次闭半空间是包含原点的闭凸锥，这样的锥要想包含SS，当且仅当它包含KK，然后利用前面的推论即可。||||
  
  推论11.7.3\textbf{推论11.7.3} 令KK中RnR^n中的凸锥但不是RnR^n 本身，那么KK含于RnR^n的某个齐次闭半空间。换句话说，存在某个向量b≠0b\neq0使得对于每个x∈K,⟨x,b⟩≤0x\in K,\langle x,b\rangle\leq0。
  
  证明：\textbf{证明：}类似推论11.5.2。||||
  
  to be continue.…..

漫步凸分析十一——分离定理相关推荐

漫步数理统计十一——连续随机变量(下)
定理1:\textbf{定理1:}令XX是连续随机变量,其pdf为fX(x)f_X(x),支撑为SX\mathcal{S}_X,令Y=g(X)Y=g(X),其中g(x)g(x)是XX支撑S\mathc ...
漫步凸分析八——回收锥与无界
RnR^n中的有界闭子集通常比无界的更容易处理,然而,当集合为凸时,无界的困难度就下降很多,这实在是一大幸事,因为我们考虑的许多集合像上境图从他们的性质可知是无界的. 根据我们的直观理解,无界闭凸集在 ...
漫步凸分析七——凸函数闭包
线性函数的凸性是代数性质(线性)的结果,而对于凸函数,事情就没那么简单了,但是凸函数本身依然有许多拓扑性质,通过将凸集的闭包和相对内点理论应用到凸函数的上境图或水平集上可以推出这些结论.有一个基本的结 ...
漫步凸分析六——凸集的相对内点
根据定义,RnR^n中点x,yx,y之间的欧几里得距离是 d(x,y)=|x−y|=⟨x−y,x−y⟩1/2 d(x,y)=|x-y|=\langle x-y,x-y\rangle^{1/2} 函数d ...
漫步凸分析五——函数运算
对于已知的凸函数,我们如何对他们进行使得产生的函数依然是凸的呢?目前已经证明了许多运算是保留凸性的,某些运算与平常分析中的运算是类似的,像函数的逐点加法,还有一些运算出自几何动机,像取函数集的凸包.通 ...
漫步凸分析三——凸集代数
有许多种代数运算可以保留凸性. 例如,如果CC是RnR^n中的凸集,那么所有平移操作C+aC+a和标量乘法λC\lambda C同样是凸集,其中 λC={λx|x∈C} \lambda C=\{\la ...
漫步凸分析二——凸集和锥
对于RnR^n中的子集CC,当x∈C,y∈C,0<λ<1x\in C,y\in C,0 时,(1−λ)x+λy∈C(1-\lambda)x+\lambda y\in C,那么我们说集合CC ...
漫步凸分析一——仿射集
本文中,用RR表示实数,RnR^n表示实nn元x=(ξ1,-,ξn)x=(\xi_1,\ldots,\xi_n)的向量空间,除非特别指明,否则都是在RnR^n中讨论.在RnR^n中两个向量x,x∗x, ...
漫步线性代数十一—— 四个基本子空间
上篇文章处理了定义而不是,我们知道基是什么,但不知道如何找到他们.现在,从一个明确描述的子空间开始,我们开始计算显式的基. 子空间能用两种方式描述.第一,我们可以给出一个生成空间的向量集合.(例如:列 ...

漫步凸分析十一——分离定理

漫步凸分析十一——分离定理相关推荐

最新文章

热门文章