8.4极值体积椭圆

Lowner-John椭球
最大体积内接椭球
椭球逼近的效率

Lowner-John椭球

包含集合C的最小体积椭球被成为集合C的Lowner-John椭球，记为 $\varepsilon _{lj}$ ，为方便描述 $\varepsilon _{lj}$ 的特征，将一般的椭球参数化为 $\varepsilon =\left \{ v|\begin{Vmatrix} Av+b\end{Vmatrix}_2\leq 1 \right \}$

即Euclid球在仿射映射下的原象。可以不是一般性地假设 $A\in S_{++}^n$ ，此时 $\varepsilon$ 的体积正比于 $det(A^{-1})$ 。计算包含C的最小体积椭球的问题可以表述为：

$minimize \, \, log \, det(A^{-1})\\ subject \, \, to \, \, sup_{v\in C}\begin{Vmatrix}Av+b \end{Vmatrix}_2\leq 1$

其中 $A\in S^n,b \in R^n$ ，且存在一个隐含约束 $A\succ 0$ 。目标函数和约束函数都是凸函数，问题是凸问题。

覆盖有限集合的最小体积椭球

考虑改了有限集合 $C = \left \{ x_1,\cdots , x_m \right \}\in R^n$ 的最小体积椭球问题。一个椭球覆盖C当且仅当覆盖起凸包，因此寻找覆盖C的最小体积椭球，相当于寻找多面体 $conv\left \{ x_1\cdots ,x_m \right \}$ 的最小体积椭球。于是此问题可以表述为：

$minimize \, \, log \, det(A^{-1})\\ subject \, \, to \, \, \begin{Vmatrix}Ax_i+b \end{Vmatrix}_2\leq 1,i=1,2\cdots,m$

其中 $A\in S^n,b \in R^n$ ，且存在一个隐含约束 $A\succ 0$ 。

最大体积内接椭球

考虑寻找C中具有最大体积的椭球问题，假设C有界且非空。将椭球参数化为单位球在仿射变换下的象：

$\varepsilon =\left \{ Bu+d |\begin{Vmatrix}u \end{Vmatrix}_2\leq 1\right \}$

再一次假设 $B\in S_{++}^n$ ，于是体积正比于 $det(B)$ ，于是问题可以表述为：

$maximize \, \, log \, det(B)\\ subject \, \, to \, \, sup_{\begin{Vmatrix}u \end{Vmatrix}_2\leq 1}I_c(Bu+d)\leq 0$

其中 $if \, \, Bu+d \in C,I_c(Bu+d)=0,else \, \, I_c(Bu+d)=\infty$ ，于是约束函数可以理解为 $\varepsilon \subseteq C$ 。

多面体中的最大体积椭球

考虑C是由线性不等式 $C=\left \{ x|a_i^Tx\leq b_i,i=1\cdots m \right \}$ 是哟面熟的多面体。于是

$sup_{\begin{Vmatrix}u \end{Vmatrix}_2\leq 1}I_c(Bu+d)\leq 0 \\ \Leftrightarrow sup_{\begin{Vmatrix}u \end{Vmatrix}_2\leq 1}a_i^T(Bu+d)\leq b_i,i=1,\cdots m \\\Leftrightarrow \begin{Vmatrix}Ba_i \end{Vmatrix}_2+a_i^Td\leq b_i .i =1,\cdots m$

于是问题可以表述为

$minimize \, \, log \, det(B^{-1})\\ subject \, \, to \, \, \begin{Vmatrix}Ba_i \end{Vmatrix}_2+a_i^Td\leq b_i .i =1,\cdots m$

椭球逼近的效率

Lowner-John椭球逼近的效率

令 $\varepsilon _{lj}$ 是有界且内部非空的凸集 $C \subseteq R^n$ 的Lowner-John椭球， $x_0$ 是其中心，如果我们讲Lowner-John椭球向起中心收缩比例n，可以得到一个位于C中的椭球：

$x_0+(1/n)(\varepsilon _{lj}-x_0)\subseteq C\subseteq \varepsilon _{lj}$

如上图，外面的椭圆是集合C的Lowner-John椭球的边界，内部的椭球是按比例n=2向中心缩小得到的椭球的边界。可以保证该椭球在集合C内部。

最大体积内接球逼近的效率

如果 $C\in R^n$ 是凸、有界且内部非空的，那么将最大体积内接椭球对其中心进行扩展n倍将覆盖集合C，如果C关于一点是对称的，那么倍数n可以收紧为 $\sqrt{n}$

如上图，内部的椭球是最大体积内接椭球，外部的椭圆显示了将内接椭球对其中心扩大n=2倍所得的边界。

凸优化第八章几何问题 8.4极值体积椭圆相关推荐

凸优化 [Convex Optimization] — [美] 鲍德（Stephen Boyd），Lieven Vandenberghe 著，王书宁，许鋆，黄晓霖译
<信息技术和电气工程学科国际知名教材中译本系列:凸优化>从理论.应用和算法三个方面系统地介绍凸优化内容. 凸优化在数学规划领域具有非常重要的地位.从应用角度看,现有算法和常规计算能力已足以 ...
斯坦福助理教授马腾宇：ML非凸优化很难，如何破？
作者 | 马腾宇编译 | 陈萍.杜伟来源 | 机器之心非凸优化问题被认为是非常难求解的,因为可行域集合可能存在无数个局部最优点,通常求解全局最优的算法复杂度是指数级的(NP 困难).在近日的一篇 ...
机器学习中的凸优化理论
凸优化课程优化问题定义:从一个可行解中找到一个最好的元素. 通常来说优化问题都可以写成如下的形式: 最小化目标函数: m个约束函数: 凸规划与非凸规划凸规划满足: 凸规划都是相对容易解决的,非凸 ...
姚班天才少年鬲融凭非凸优化研究成果获得斯隆研究奖
近日,美国艾尔弗·斯隆基金会(The Alfred P. Sloan Foundation)公布了2019年斯隆研究奖(Sloan Research Fellowships)获奖名单,华裔学者鬲融获此 ...
机器学习中的数学(七)--凸优化的基础知识
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...
凸优化基础知识笔记-凸集、凸函数、凸优化问题
文章目录 1. 凸集 2. 凸函数 2.1. 凸函数的一阶条件 2.1. 凸函数例子 3. 凸优化问题 4. 对偶 4.1. Lagrange函数与Lagrange对偶 4.2. 共轭函数 4.3. ...
凸优化_Stephen_Boyd_
AI 菌由于凸优化在机器学习中还是很重要链接:http://pan.baidu.com/s/1eS3vuLk 密码:3epx 理论部分由4章构成,不仅涵盖了凸优化的所有基本概念和主要结果,还详细介 ...
机器学习——凸优化基础知识
文章目录一.计算几何 (一)计算几何是研究什么的 (二)直线的表达式二.凸集 (一)凸集是什么 (二)三维空间中的一个平面如何表达 (三)更高维度的"超平面"如何表达三.凸函 ...
数学优化入门：凸优化
做科研时,曾花了段时间学习凸优化,后来发现ML中其应用也非常普遍,想来今后可能还会接触,干脆做个系统的总结,方便以后查询. 博文内容主要参考Boyd(Stanford)的Convex Optimiza ...
【凸优化笔记一】仿射集+凸集+锥
[凸优化笔记一]仿射集+凸集+锥引言直线&线段直线的定义线段的定义仿射集 Affine Sets 与C相关的子空间线性方程组的解集是仿射集零空间仿射包 Affine Hull ...

凸优化第八章几何问题 8.4极值体积椭圆