8.6 分类

线性判别
非线性判别

线性判别

在线性判别中，寻找仿射函数 $f(x)=a^Tx-b$ 用以区分这些点，即

$a^Tx_i-b>0,i=1,\cdots,N,\,\,\, a^Ty_i-b<0,i=1,\cdots ,M$

在几何意义上，即寻找分离两个点集的超平面。因为严格不懂呢过是对于a和b是齐次的，所以它们是可行的，当且仅当不严格不等式组：

$a^Tx_i-b\geq 1,i=1,\cdots,N,\,\,\, a^Ty_i-b\leq -1,i=1,\cdots ,M$

是可行的。

下图是两个点集即线性判别函数的例子。

鲁棒线性判别

如果两个集合可以倍被别，那么存在一个可以分离它们的仿射函数的多面体，于是我们可以从中选择某些稳健度量下最优的一个。例如，我们可以寻找给出在 $x_i$ 上的正值和 $y_i$ 上的负值之间最大可能“间距”的函数。

如上图，两条虚线分别对应一个超平面，上侧的虚线对应 $H_1=\left \{ z|a^Tz+b=1 \right \}$ ，下侧的虚线对应 $H_2=\left \{ z|a^Tz+b=-1 \right \}$ ，于是 $dist(H_1,H_2)=2/\begin{Vmatrix} a\end{Vmatrix}_2$ 。

为了最大化间距，问题可以表述为：

$minimize \,\, (1/2)\begin{Vmatrix}a \end{Vmatrix}_2 \\ subject\,\, to\,\,\begin{matrix} a^Tx_i+b\geq 1 &i=1,\cdots,N \\ a^Ty_i+b\leq -1 & i=1\cdots,M \end{matrix}$

是一个关于a和b的二次规划问题。

最大间距问题的Langrange函数：

$L(a,b,\lambda,\mu)=(1/2)\begin{Vmatrix}a \end{Vmatrix}_2+\sum_{i=1}^N\lambda_i(-a^Tx_i-b+1)+\sum_{i=1}^M\mu_i(a^Ty_i+b+1)$

$\frac{\partial L}{\partial b}=-\sum_{i=1}^N\lambda_i+\sum_{i=1}^M\mu_i=-1^T\lambda+1^T\mu$

令其为0 ，得到 $1^T\lambda=1^T\mu$

此时 $\underset{b}{inf}L(a,b,\lambda,\mu)=(1/2)\begin{Vmatrix}a \end{Vmatrix}_2+\sum_{i=1}^N\lambda_i(-a^Tx_i+1)+\sum_{i=1}^M\mu_i(a^Ty_i+1)$

对偶函数：

$g(\lambda,\mu)=\underset{a,b}{inf}L(a,b,\lambda,\mu)\\ =\underset{a}{inf}(1/2)\begin{Vmatrix}a \end{Vmatrix}_2+\sum_{i=1}^N\lambda_i(-a^Tx_i+1)+\sum_{i=1}^M\mu_i(a^Ty_i+1)\\ =\underset{a}{inf}(1/2)\begin{Vmatrix}a \end{Vmatrix}_2+\sum_{i=1}^N\lambda_i(-a^Tx_i)+\sum_{i=1}^M\mu_i(a^Ty_i)+1^T\lambda+1^T\mu \\ =\underset{a}{inf}((1/2)\begin{Vmatrix}a \end{Vmatrix}_2+a^T(-\sum_{i=1}^N\lambda_ix_i+\sum_{i=1}^M\mu_iy_i))+1^T\lambda+1^T\mu \\ =\underset{a}{sup}-(1/2)(\begin{Vmatrix}a \end{Vmatrix}_2+a^T(-\sum_{i=1}^N\lambda_ix_i+\sum_{i=1}^M\mu_iy_i))+1^T\lambda+1^T\mu \\ =\underset{a}{sup}(-(1/2)\begin{Vmatrix}a \end{Vmatrix}_2+a^T(\sum_{i=1}^N\lambda_ix_i-\sum_{i=1}^M\mu_iy_i))+1^T\lambda+1^T\mu\\ \underset{a}{sup}(-(1/2)\begin{Vmatrix}a \end{Vmatrix}_2+(\sum_{i=1}^N\lambda_ix_i-\sum_{i=1}^M\mu_iy_i)^Ta)+1^T\lambda+1^T\mu\\ =f^*(\sum_{i=1}^N\lambda_ix_i-\sum_{i=1}^M\mu_iy_i)+1^T\lambda+1^T\mu$

其中 $f^*$ 是 $f=(1/2)\begin{Vmatrix} a\end{Vmatrix}_2$ 的共轭函数，故

$f^*(\sum_{i=1}^N\lambda_ix_i-\sum_{i=1}^M\mu_iy_i)=\left\{\begin{matrix} 0 & \begin{Vmatrix} \sum_{i=1}^N\lambda_ix_i-\sum_{i=1}^M\mu_iy_i\end{Vnatrix}\leq 1/2\\ \infty & else \end{matrix}\right.$

故对偶问题：

$maximize \, \,1^T\lambda+1^T\mu \\ subject \,\, to \, \, 2\begin{Vmatrix}\sum_{i=1}^N\lambda_ix_i-\sum_{i=1}^M\mu_iy_i \end{Vmatrix}\leq 1,1^T\lambda=1^T\mu,\lambda \geq 0,\mu \geq 0$

令 $\theta_i = \lambda_i/1^T\lambda,\gamma _i=\mu_i/1^T\mu,t=\frac{1}{1^T\lambda+1^T\mu}$

对偶问题等价于：

$minimize \, \, t\\ subject \,\, to \, \, \begin{Vmatrix}\sum_{i=1}^N\theta_ix_i-\sum_{i=1}^M\gamma _iy_i \end{Vmatrix}_2\leq t,\theta \succeq 0,1^T\theta=1,\gamma \succeq 0,1^T\gamma =1$

线性不可分的近似线性分类

如上图，两个集合线性不可分，此时没有一个仿射函数可以将两个集合分开，于是引入松弛量，即放宽约束，

$a^Tx_i+b\geq 1-u_i,a^Ty_i+b\leq -1+v_i$

此时问题可以表述为：

$minimize \,\, 1^Tu+1^Tv\\ subject\,\, to\,\,\begin{matrix} a^Tx_i+b\geq 1 -u_i&i=1,\cdots,N \\ a^Ty_i+b\leq -1 +v_i& i=1\cdots,M \end{matrix},u\succeq 0,v\succeq 0$

即寻找一个可以使点集更好的分类，同时最小化约束的放宽程度。

支持向量分类器

标准支持向量分类器定义为：

$minimize \,\, \begin{Vmatrix}a \end{Vmatrix}_2+\gamma (1^Tu+1^Tv)\\ subject\,\, to\,\,\begin{matrix} a^Tx_i+b\geq 1 -u_i&i=1,\cdots,N \\ a^Ty_i+b\leq -1 +v_i& i=1\cdots,M \end{matrix},u\succeq 0,v\succeq 0$

目标函数的第一项表示极大化间距，第二项对错分点的松弛。

如上图，实现是支持向量分类器得到的近似线性判别。

非线性判别

从函数子空间中寻找非线性函数，使得函数在一个集合中为正，另一个集合中为负。

可以定义 $f(z)=\theta^TF(z),F=(F_1,\cdots,F_k):R^n\rightarrow R^k$

于是

$\theta ^TF(x_i)\geq 1,i=1,\cdots N,\theta^TF(y_i)\leq -1,i=1,\cdots ,M$

二次判别

取f(x)为二次函数： $f(xx^TQx+q^Tx+r,P\in S^n,q\in R^n,r\in R$

可以对P ,q,r增加约束以限制分类区间的形状。

多项式判别

$f(x)=\sum_{i_1+\cdots,+i_m\leq d}a_{i_1\cdots i_d}x_1^{i_1\cdots i_n}$

来源：https://blog.csdn.net/wangchy29/article/details/87881546

凸优化第八章几何问题 8.6 分类相关推荐

凸优化 [Convex Optimization] — [美] 鲍德（Stephen Boyd），Lieven Vandenberghe 著，王书宁，许鋆，黄晓霖译
<信息技术和电气工程学科国际知名教材中译本系列:凸优化>从理论.应用和算法三个方面系统地介绍凸优化内容. 凸优化在数学规划领域具有非常重要的地位.从应用角度看,现有算法和常规计算能力已足以 ...
斯坦福助理教授马腾宇：ML非凸优化很难，如何破？
作者 | 马腾宇编译 | 陈萍.杜伟来源 | 机器之心非凸优化问题被认为是非常难求解的,因为可行域集合可能存在无数个局部最优点,通常求解全局最优的算法复杂度是指数级的(NP 困难).在近日的一篇 ...
机器学习中的凸优化理论
凸优化课程优化问题定义:从一个可行解中找到一个最好的元素. 通常来说优化问题都可以写成如下的形式: 最小化目标函数: m个约束函数: 凸规划与非凸规划凸规划满足: 凸规划都是相对容易解决的,非凸 ...
姚班天才少年鬲融凭非凸优化研究成果获得斯隆研究奖
近日,美国艾尔弗·斯隆基金会(The Alfred P. Sloan Foundation)公布了2019年斯隆研究奖(Sloan Research Fellowships)获奖名单,华裔学者鬲融获此 ...
机器学习中的数学(七)--凸优化的基础知识
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...
凸优化基础知识笔记-凸集、凸函数、凸优化问题
文章目录 1. 凸集 2. 凸函数 2.1. 凸函数的一阶条件 2.1. 凸函数例子 3. 凸优化问题 4. 对偶 4.1. Lagrange函数与Lagrange对偶 4.2. 共轭函数 4.3. ...
凸优化_Stephen_Boyd_
AI 菌由于凸优化在机器学习中还是很重要链接:http://pan.baidu.com/s/1eS3vuLk 密码:3epx 理论部分由4章构成,不仅涵盖了凸优化的所有基本概念和主要结果,还详细介 ...
机器学习——凸优化基础知识
文章目录一.计算几何 (一)计算几何是研究什么的 (二)直线的表达式二.凸集 (一)凸集是什么 (二)三维空间中的一个平面如何表达 (三)更高维度的"超平面"如何表达三.凸函 ...
数学优化入门：凸优化
做科研时,曾花了段时间学习凸优化,后来发现ML中其应用也非常普遍,想来今后可能还会接触,干脆做个系统的总结,方便以后查询. 博文内容主要参考Boyd(Stanford)的Convex Optimiza ...
【凸优化笔记一】仿射集+凸集+锥
[凸优化笔记一]仿射集+凸集+锥引言直线&线段直线的定义线段的定义仿射集 Affine Sets 与C相关的子空间线性方程组的解集是仿射集零空间仿射包 Affine Hull ...

凸优化第八章几何问题 8.6 分类