支持向量机是一种二分类分类模型，基本模型是定义在特征空间上的间隔最大的线性分类器，由简单到复杂可分为：

线性可分支持向量机：适用于训练数据线性可分的情况，通过硬间隔最大化学习一个线性分类器，又称为硬间隔支持向量机。

线性支持向量机：适用于训练数据近似线性可分的情况，通过软间隔最大化，学习一个线性分类器，又称为软间隔支持向量机。

非线性支持向量机：当训练数据线性不可分时，通过使用核技巧和软间隔最大化，学习一个非线性分类器。

前两种的输入空间的元素和特征空间的元素一 一对应，第三种利用一个非线性映射将输入空间的向量映射到特征空间的特征向量，支持向量机的学习是在特征空间上进行的。

一、线性可分支持向量机

对于线性可分的训练数据集，存在一个超平面可以将两类训练样本分开，进而在空间中存在无数个超平面可以将两类训练样本分开。但是哪一个超平面是最好的？

由于训练样本的测量可能有误差，只有图中红色的直线对误差的容忍程度会更多一点。问题又来了，如何定义这样一条红色的直线？首先要定义衡量每一条线的一个标准，每一条线都能算出一个性能指标，而且这个红色直线在这个性能指标下表现最好。

找一条直线，向下与向下的移动该直线，使它刚好擦到一个或者几个向量，将间隔d（margin)定义为性能指标，要使这个间隔最大，擦到的向量叫支撑向量。两侧的两条直线的中间直线就是我们要找的目标直线。

数据及其标签：

线性模型：

训练集线性可分：对于训练集

等价于

事实1：

事实2：向量

用一个正数a去缩放超平面方程的系数，

s.t.

可以理解目标函数是为了找出超平面的斜率系数w,间隔只与w有关系，同一个w有无数个平行面，下面的约束条件是确定截距，保证最后求出的超平面在左右两侧平面的中间。

构建拉格朗日函数：

原问题：

(1)求

将拉格朗日函数分别对w,b求偏导数并等于0

得:

(2)求

s.t.

常用SMO算法求解上面的对偶问题，如果对偶问题的有最优解

证明上述等式：由于KKT条件成立，即得：

(1)求导为零条件：

(2)互补松弛条件：

(3)原问题的条件：

(4)对偶问题的条件：

如果拉格朗日乘子向量

由(2)条件知道，对于

一、线性支持向量机与软间隔最大化

当数据集线性不可分的时候，上述的线性可分支持向量机的优化问题是没有解的，所以要在原有方法上进行改进，原有的约束条件比较苛刻，所以要对每个样本点的约束条件引入一个松弛变量， 优化问题变为：

s.t.

显然线性支持向量机包含了线性可分支持向量机(当所有

拉格朗日函数：

得：

s.t.

我们发现对偶问题得求解与松弛变量无关，与惩罚参数

如果求得对偶问题的有最优解

证明上述等式：由于KKT条件成立，即得:

(1)求导为零条件：

(2)互补松弛条件：

(3)原问题的条件：

(4)对偶问题条件：

若

这个结果与之前的数据集线性可分情况几乎一样，可以理解为去掉训练数据中一小部分样本后，剩余大部分样本变为线性可分了，去掉的样本分布在软间隔内，我们可以通过设置超参数

重点细节：讲解

(1)当

(2)当

(2.1)当

(2.2)当

(2.3)当

(3)非线性支持向量机(核技巧) 当训练数据线性不可分时，需要超曲面模型来分开数据，我们可以用非线性映射将低维输入空间线性不可分的样本映射到高维特征空间使其线性可分，从而在高维特征空间采用线性支持向量机学习超平面模型。

定义一个低维空间到高维空间的非线性映射函数

核技巧思想：由于映射后的特征空间维度很高，甚至是无穷维，计算

s.t.

找一个

最终的分离超平面为：

几种常见的核:

(1)多项式核函数：

(2)高斯核函数：

(3)指数核函数：

(4)拉普拉斯核函数：