引言

本文详解介绍了支持向量机的理论，以及如何实现。

支持向量机(Support Vector Machine)

在感知机中，我们介绍过，假设存在这样的两类点，我们可以学得一条决策边界将它们分开，比如是条这样的直线：

但是得到的决策边界不唯一，根据选择训练集数据的顺序可以得到不同的决策边界：

但是这两条决策边界的泛化能力都不好，为什么这么说呢，因为这两条线都离某个类别的点太近了，很可能测试集中未知的点会被错误的分类。

那么什么样的决策边界才是最好的呢？

这就是一条比较好的决策边界，它离红色样本点和蓝色样本点一样远。在两个类别中，离决策边界最近的那些点都尽可能的远。红色样本有两个点，蓝色样本有一个点，这三个点到决策边界的距离是所有样本点中最近的，且距离是相等的。

这三个点定义出了两条和决策边界平行的线。这两条平行线之间没有任何的样本点。这就是支持向量机的思想。

SVM尝试找到中间那条最优的决策边界，这个决策边界距离两个类别最近的样本最远。

这些最近的样本点就是支持向量，这也是为什么叫支持向量机。

这两条平行线离决策边界的距离相等，记为ddd，margin就是2d2d2d。

SVM就是要最大化margin。

上面我们讲的都是假设样本点是线性可分的情况，就是存在一条直线(平面)能将这些样本划分。这样的算法通常又称为Hard Margin SVM。

但是实际情况中，很多数据是线性不可分的，这时SVM可以通过改进得到Soft Margin SVM。

最大化margin

那如何通过数学的方式表达这个margin呢。上面我们说过margin=2dmargin =2dmargin=2d，SVM要最大化margin，也就是要最大化d。所以我们需要找到d的表达式。

这个d就是点到直线的距离，在感知机中我们已经介绍过了。

假设我们要求的决策边界由wTx+b=0w^Tx+b=0wTx+b=0表示，距离公式如上。

对于这两类样本点，和感知机一样，分别用+1,−1+1,-1+1,−1表示。

也就有：

对于属于类别+1+1+1的样本点，都有距离大于等于ddd；对于−1-1−1的点，都有距离小于等于−d-d−d。

我们可以对上式进行一个变形，把两边都除以ddd：

∣∣w∣∣||w||∣∣w∣∣是一个标量,ddd也是一个标量，我们可想象把wTw^TwT每个元素和bbb都除以分母∣∣w∣∣d||w||d∣∣w∣∣d这个标量，我们用新的字母来表示除以之后的结果：

此时与决策边界平行的这两条直线分别就是wdTx+bd=1w_d^Tx+b_d = 1wdTx+bd=1和wdTx+bd=−1w_d^Tx+b_d = -1wdTx+bd=−1。

对于中间决策边界，我们也可以除以∣∣w∣∣d||w||d∣∣w∣∣d这个标量，它的右侧等于000，为了简便，此时我们去掉下标ddd，还是用w,bw,bw,b来表示它们。

现在的式子如上。右边是个分段函数，我们可以用一个式子描述：

yi(wTxi+b)≥1y^i(w^Tx^i +b) \geq 1 yi(wTxi+b)≥1

可以代入yiy^iyi去验证看看。

此时对于任意支持向量xxx，我们最大化d，就是最大化下面这个式子：

maxwTx+b∣∣w∣∣max \frac{w^Tx+b}{||w||} max∣∣w∣∣wTx+b

而对于支持向量，它的结果要么等于111，要么等于−1-1−1。上面取绝对值后就是111，上式可以简写成：

max1∣∣w∣∣=min∣∣w∣∣max \frac{1}{||w||} = min ||w|| max∣∣w∣∣1=min∣∣w∣∣

为了方便求导，通常写成
min12∣∣w∣∣2min\frac{1}{2}||w||^2 min21∣∣w∣∣2

整个支持向量机的最优化问题就变成了，在条件

yi(wTxi+b)≥1y^i(w^Tx^i+b) \geq 1 yi(wTxi+b)≥1
的情况下，最优化

min12∣∣w∣∣2min\frac{1}{2}||w||^2 min21∣∣w∣∣2

这是有条件的最优化问题，具体的求解比较复杂。这里就不展开了。

Soft Margin SVM

在Hard Margin SVM 中本质就是求解一个这样有条件最小化问题。但是如果某类的样本点分布比较奇怪，如

此时Hard Margin SVM要做的是找出一条直线分开这两种类别：

虽然它正确的分开了蓝色样本和红色样本，但是离红色样本太近的。对于大多数的蓝色样本点都集中在左下角位置，只有一个outlier在右边的位置。很可能这个outlier是错误的点。哪怕它是正确的点，它也不能代表一般的点。

很可能绿色这个决策边界才是比较好的，虽然它错误的分类了outlier的点，但是可能在真实情况下表现的更好。也就是泛化能力更强。

所以我们的SVM算法要有一定的容错能力，在一些情况下可以把某些点进行错误的分类，尽量保证泛化能力较高。

这种SVM就叫Soft Margin SVM，我们上面说Hard Margin SVM的条件是

yi(wTxi+b)≥1y^i(w^Tx^i+b) \geq 1 yi(wTxi+b)≥1

它的意思是对于margin区域里，必须是任何数据点都没有的。

现在我们宽松个条件，这个宽松量记为ζi\zeta_iζi

把条件宽松为：

yi(wTxi+b)≥1−ζiy^i(w^Tx^i+b) \geq 1 - \zeta_i yi(wTxi+b)≥1−ζi

也就是说，宽松条件后，样本点可以出现在虚线与平行于决策边界的直线之间。上面是wTx+b=1w^Tx+b =1wTx+b=1与wTx+b=1−ζw^Tx+b = 1 -\zetawTx+b=1−ζ之间。

同时，这个ζ≥0\zeta \geq 0ζ≥0

为了防止ζ\zetaζ设的过大，我们需要对最小化的式子做一个限制，增加一个正则项：

min12∣∣w∣∣2+∑i=1mζimin\frac{1}{2}||w||^2 + \sum_{i=1}^m \zeta_i min21∣∣w∣∣2+i=1∑mζi

这就是Soft Margin SVM完整的式子：

这里增加了一个超参数CCC来控制正则项的重要程度。CCC越小容错空间越大。

我们通过代码来理解一下：

import numpy as np
import matplotlib.pyplot as pltfrom sklearn import datasets
from sklearn.preprocessing import StandardScaler
from sklearn.svm import LinearSVCiris = datasets.load_iris()X = iris.data
y = iris.targetX = X [y<2,:2] #只取y<2的类别，也就是0 1 并且只取前两个特征
y = y[y<2] # 只取y<2的类别# 分别画出类别0和1的点
plt.scatter(X[y==0,0],X[y==0,1],color='red')
plt.scatter(X[y==1,0],X[y==1,1],color='blue')
plt.show()# 标准化
standardScaler = StandardScaler()standardScaler.fit(X) #计算训练数据的均值和方差
X_standard = standardScaler.transform(X) #再用scaler中的均值和方差来转换X，使X标准化svc = LinearSVC(C=1e9) #线性SVM分类器
svc.fit(X_standard,y) # 训练svm

下图是未经标准化的原始数据点分布

训练好了之后，我们绘制这个决策边界:

def plot_decision_boundary(model, axis):x0, x1 = np.meshgrid(np.linspace(axis[0], axis[1], int((axis[1]-axis[0])*100)).reshape(-1,1),np.linspace(axis[2], axis[3], int((axis[3]-axis[2])*100)).reshape(-1,1))X_new = np.c_[x0.ravel(), x1.ravel()]y_predict = model.predict(X_new)zz = y_predict.reshape(x0.shape)from matplotlib.colors import ListedColormapcustom_cmap = ListedColormap(['#EF9A9A','#FFF59D','#90CAF9'])plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)# 绘制决策边界
plot_decision_boundary(svc,axis=[-3,3,-3,3]) # x,y轴都在-3到3之间
# 绘制原始数据
plt.scatter(X_standard[y==0,0],X_standard[y==0,1],color='red')
plt.scatter(X_standard[y==1,0],X_standard[y==1,1],color='blue')
plt.show()

上面说了CCC是控制正则项的重要程度，这里我们再次实例化一个svc，并传入一个较小的CCC。

svc2 = LinearSVC(C=0.01)
svc2.fit(X_standard,y)
plot_decision_boundary(svc2,axis=[-3,3,-3,3]) # x,y轴都在-3到3之间
# 绘制原始数据
plt.scatter(X_standard[y==0,0],X_standard[y==0,1],color='red')
plt.scatter(X_standard[y==1,0],X_standard[y==1,1],color='blue')
plt.show()

可以很明显的看到和第一个决策边界的不同，在这个决策边界汇总，有一个红点是分类错误的。

CCC越小容错空间越大。

我们可以通过svc.coef_来获取学习到的权重系数,svc.intercept_获取偏差。

使用多项式特征和核函数

接下来我们看下如何处理非线性的数据。

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasetsX, y = datasets.make_moons() #使用生成的数据
print(X.shape) # (100,2)
print(y.shape) # (100,)

接下来绘制下生成的数据

plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

生成的数据像月亮，这就是它函数名称的由来。但是生成的数据集太规范了，我们增加一些噪声点。

X, y = datasets.make_moons(noise=0.15,random_state=777) #随机生成噪声点，random_state是随机种子，noise是方差plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

我们接下来通过多项式特征的SVM来对它进行分类。

from sklearn.preprocessing import PolynomialFeatures,StandardScaler
from sklearn.svm import LinearSVC
from sklearn.pipeline import Pipelinedef PolynomialSVC(degree,C=1.0):return Pipeline([("poly",PolynomialFeatures(degree=degree)),#生成多项式("std_scaler",StandardScaler()),#标准化("linearSVC",LinearSVC(C=C))#最后生成svm])

这里我们引入了管道，它可以将许多算法模型串联起来，比如将特征提取、归一化、分类组织在一起形成一个典型的机器学习问题工作流。

poly_svc = PolynomialSVC(degree=3)
poly_svc.fit(X,y)plot_decision_boundary(poly_svc,axis=[-1.5,2.5,-1.0,1.5])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

我们可以看到，生成的边界不再是线性的直线了。

我们还可以使用核技巧来对数据进行处理，使其维度提升，使原本线性不可分的数据，在高维空间变成线性可分的。再用线性SVM来进行处理。

from sklearn.svm import SVCdef PolynomialKernelSVC(degree,C=1.0):return Pipeline([("std_scaler",StandardScaler()),("kernelSVC",SVC(kernel="poly")) # poly代表多项式特征])poly_kernel_svc = PolynomialKernelSVC(degree=3)
poly_kernel_svc.fit(X,y)plot_decision_boundary(poly_kernel_svc,axis=[-1.5,2.5,-1.0,1.5])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

可以看到这种方式也生成了一个非线性的边界。

这里SVC(kernel="poly")有个参数是kernel，就是核函数。下面介绍下核函数。

核函数

我们知道SVM的本质是求解这样一个最优化问题。

我们通过对偶形式可以将它转换一下：

上面后面的xixjx_ix_jxixj，我们将它们转换成多项式的特征:

最后变成要求解

如果有这样一个函数，可以不需要分别转换xi,xjx^i,x^jxi,xj之后再相乘，而直接计算出最后的结果

那么我们的式子可以这样表示：

这个函数是存在的，它就是核函数。这也是使用核函数的技巧，所以有时你会听到核技巧这个概念。

在(二次)多项式核函数中，它的定义是这样的：

K(x,y)=(x⋅y+1)2K(x,y) = (x \cdot y +1)^2K(x,y)=(x⋅y+1)2

这两个向量的点乘可以写成求和的形式

展开后如上。其实这个式子就可以看出若干项相乘再相加。

相当于原来的xxx变成了这样(包含了二次项)

yyy也根据这个规则变成了y′y^\primey′，这两新的向量相乘再相加，结果就是

整个过程可以不用弄的这么复杂，我们可以直接用原来的式子K(x,y)=(x⋅y+1)2K(x,y) = (x \cdot y +1)^2K(x,y)=(x⋅y+1)2进行计算，这就是核技巧，大大降低了计算的复杂度。

如果是多项式(大于二项)，它的式子就是这样的：

K(x,y)=(x⋅y+c)dK(x,y) = (x \cdot y +c)^d K(x,y)=(x⋅y+c)d

这个ddd就是上面程序中degree的值。这里的ccc是另外一个超参数。

我们也可以用核函数来表示原来的线性SVM，此时的核函数很简单，就是K(x,y)=x⋅yK(x,y) = x \cdot yK(x,y)=x⋅y。

除了多项式核函数，还有很多不同的核函数，其中最有名的就是RBF核函数(高斯核函数)。

RBF核函数

它的式子如下：

K(x,y)=e−γ∣∣x−y∣∣2K(x,y) =e ^{-\gamma ||x-y||^2} K(x,y)=e−γ∣∣x−y∣∣2

这里的γ\gammaγ也是超参数。

我们看下高斯函数的式子，发现高斯核函数和高斯函数很像。

高斯核函数也叫RBF核(Radia Basis Function Kernel)。

高斯核函数的本质是将每个样本点映射到一个无穷多维度的特征空间中。

核函数都是依靠升维使得原本线性不可分的数据变得线性可分。

在多项式特征中，假如原本的数据是xxx的话，我们把原来的数据都变成x2x^2x2，这样就变得线性可分了。

原本的数据，是一维的，它是线性不可分的，我们无法只画一条直线将它们分开。

接下来进行升维：

把它们都变成x2x^2x2，现在就变成了线性可分的，我们可以画一条直线来分开它们：

高斯核本质也是做这样的事情。这里为了简单，我们固定yyy为l1,l2l_1,l_2l1,l2。

它的升维式子比较复杂，我们用代码来模拟一下：

import numpy as np
import matplotlib.pyplot as pltx = np.arange(-4,5,1)#生成测试数据
y = np.array((x >= -2 ) & (x <= 2),dtype='int')plt.scatter(x[y==0],[0]*len(x[y==0]))# x取y=0的点, y取0，有多少个x，就有多少个y
plt.scatter(x[y==1],[0]*len(x[y==1]))
plt.show()

接下来使用高斯核函数，看如何将一个一维的数据映射到二维的空间。

# 高斯核函数
def gaussian(x,l):gamma = 1.0return np.exp(-gamma * (x -l)**2)l1,l2 = -1,1
X_new = np.empty((len(x),2)) #len(x) ,2
for i,data in enumerate(x):X_new[i,0] = gaussian(data,l1)X_new[i,1] = gaussian(data,l2)plt.scatter(X_new[y==0,0],X_new[y==0,1])
plt.scatter(X_new[y==1,0],X_new[y==1,1])
plt.show()

对于这样的二维数据显然是线性可分的：

这里我们为了简单固定了yyy，其实实际上的核函数是下面这样的：

高斯核函数将m×nm\times nm×n的数据映射成了m×mm \times mm×m的数据，原本只有nnn个维度的数据，经过高斯核之后变成了mmm维度，如果mmm非常大的话，就映射成了一个非常高维的空间点。

如果我们的样本点是无穷多个的，那么它就会映射出无穷维的数据(如果向量yyy每个维度的值都不同的话)。但是通常我们的样本再多也是有限的，因此最终得到的是有限维的映射。

当我们初始的样本数据维度较高，但是样本数量不多时(m<nm<nm<n)，我们可以使用高斯核来进行处理。最典型的应用领域是自然语言处理，在自然语言处理中，通常我们会构造一个非常高维的样本空间，但是我们的样本数量是不太多的。

超参数γ\gammaγ

在高斯函数中，σ\sigmaσ越大，分布就越胖。

而核函数中的 γ\gammaγ类似于 12σ2\frac{1}{2\sigma^2}2σ21。

所以，γ\gammaγ越大，高斯分布越窄；γ\gammaγ越小，高斯分布越宽。

接下来用代码来演示下γ\gammaγ的取值对结果的影响。

首先是生成我们的数据:

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasetsX,y = datasets.make_moons(noise=0.15,random_state=777)
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

接下来定义一个RBF核的SVM：

from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.pipeline import Pipelinedef RBFKernelSVC(gamma=1.0):return Pipeline([('std_scaler',StandardScaler()),('svc',SVC(kernel='rbf',gamma=gamma))])svc = RBFKernelSVC()
svc.fit(X,y)plot_decision_boundary(svc,axis=[-1.5,2.5,-1.0,1.5])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

这是我们设置γ=1.0\gamma=1.0γ=1.0时所得到的决策边界。我们调整下它的值再试下：

svc = RBFKernelSVC(100)

其他代码不变：

γ\gammaγ取值越大，就是高斯分布的钟形图越窄，这里相当于每个样本点都形成了钟形图。很明显这样是过拟合的。

我们再设一下γ\gammaγ

svc = RBFKernelSVC(10)

再调小一点:

svc = RBFKernelSVC(0.1)

此时它是欠拟合的。

因此，我们可以看出γ\gammaγ值相当于在调整模型的复杂度。

SVM解决回归问题

我们回归问题的本质是找到这样一条线能尽可能的拟合我们的数据点。

对于SVM来说，对于拟合的定义是指定margin值，期望在margin范围里包含的数据点越多越好。

此时，我们取中间的这条直线作为回归的结果。这和解决分类问题是一个相反的思路。

下面我们看下代码：

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasetsboston = datasets.load_boston()
X = boston.data
y = boston.targetfrom sklearn.model_selection import train_test_splitX_train,X_test,y_train,y_test = train_test_split(X,y,random_state=777) # 把数据集拆分成训练数据和测试数据from sklearn.svm import LinearSVR
from sklearn.svm import SVR
from sklearn.preprocessing import StandardScalerdef StandardLinearSVR(epsilon=0.1):return Pipeline([('std_scaler',StandardScaler()),('linearSVR',LinearSVR(epsilon=epsilon))])svr = StandardLinearSVR()
svr.fit(X_train,y_train)svr.score(X_test,y_test) #0.6989278257702748

参考

1.Python3入门机器学习

机器学习入门——图解支持向量机相关推荐

(视频+图文)机器学习入门系列-第11章支持向量机
机器学习入门系列,黄海广老师主讲.本站将持续更新,ppt.代码.课后习题见文末. 本系列的目录 01.引言 02.回归 03.逻辑回归 04.朴素贝叶斯 05.机器学习实践 06.机器学习库Sciki ...
python svr回归_机器学习入门之机器学习之路：python支持向量机回归SVR 预测波士顿地区房价...
本文主要向大家介绍了机器学习入门之机器学习之路:python支持向量机回归SVR 预测波士顿地区房价,通过具体的内容向大家展现,希望对大家学习机器学习入门有所帮助. 支持向量机的两种核函数模型进行预 ...
《Web安全之机器学习入门》笔记：第九章 9.4 支持向量机算法SVM 检测DGA域名
DGA(Domain Generation Algorithm)域名生成算法是一种利用随机字符等算法来生成C&C域名,从而逃避安全设备域名黑名单检测的技术手段. 1.黑样本 def load_ ...
吴恩达机器学习入门 2018 高清视频公开，还有习题解答和课程拓展，网友：找不到理由不学！...
贾浩楠发自凹非寺量子位报道 | 公众号 QbitAI 机器学习入门课程哪家最强? 斯坦福吴恩达的CS229称第二,恐怕没人敢称第一. 最近,吴恩达在斯坦福的最新CS229 2018课程,已经完 ...
曲线聚类_机器学习入门必读：6种简单实用算法及学习曲线、思维导图
来源:大数据DT 本文约3500字,建议阅读7分钟本文为你介绍掌握机器领域知识的学习曲线.技术栈以及常用框架. [ 导读 ] 大部分的机器学习算法主要用来解决两类问题--分类问题和回归问题.在本文当 ...
机器学习入门必读：6种简单实用算法及学习曲线、思维导图
来源:大数据DT 本文约3500字,建议阅读7分钟本文为你介绍掌握机器领域知识的学习曲线.技术栈以及常用框架. [ 导读 ] 大部分的机器学习算法主要用来解决两类问题--分类问题和回归问题.在本文当 ...
吴恩达机器学习入门2018高清视频公开，还有习题解答和课程拓展，网友：找不到理由不学！...
贾浩楠发自凹非寺量子位报道 | 公众号 QbitAI 机器学习入门课程哪家最强? 斯坦福吴恩达的CS229称第二,恐怕没人敢称第一. 最近,吴恩达在斯坦福的最新CS229 2018课程,已经完 ...
新手福利：免费百页机器学习入门书
选自 themlbook 作者:Andriy Burkov 机器之心编译参与:张倩.淑婷.晓坤近日,Gartner 公司机器学习团队负责人.人工智能博士 Andriy Burkov 开源了自己写的 ...
我的机器学习入门之路（中）——深度学习(自然语言处理)
继上一篇<我的机器学习入门之路(上)--传统机器学习>,这一篇博客主要记录深度学习(主要是自然语言处理)这一块内容的学习过程.以下均将自然语言处理简称NLP. 这一块内容的学习路线分为三部 ...
机器学习入门笔记：（4.3）SMO算法
前言之前的博客中,已经介绍了SVM的原理: 机器学习入门学习笔记:(4.1)SVM算法机器学习入门学习笔记:(4.2)核函数和软间隔最后我们得到的优化问题如下: maxα∑i=1mαi−12∑i ...

机器学习入门——图解支持向量机

引言