svm分类代码_SVM的原理及实现垃圾邮件分类代码解析：

SVM原理：

1.优化目标：

logisic regression:

如上图所示，支持向量机是在logistic回归的基础上改变的。支持向量机和逻辑回归略有不同，正则化参数写为C，且在第一个优化项之前，（如下所示中的C的位置）。并且去掉了参数1/m。（去掉参数1/m，对结果没有影响，下图中的红色部分有解释。）。其中的参数C可以近似理解为

。

即目标函数变为下式：

Large Margin Intuition:

SVM的假设函数是：

当y=1时，想要

>=1。而上述的假设函数是仅仅

>=0即可，所以相当于有了一个安全间隔。（吴恩达老师是这样解释的）。y=0，同理。

在如下图所示的公式优化后：

目标函数就变为下式所示：

在目标函数中的参数C very large时，相当于正则化参数足够大，即产生过拟合；

因此当C不是很大时，SVM则恰可以正好分类。

The mathematics behind large margin classification (optional)

从上述两页的ppt可以看出两个向量之间的点乘可以写成下述形式：

所以X向量在参数

向量上的投影越大，则

的值可以越小，符合下述目标关系表达式：

即

值尽量小的前提下，使：

即如下图所示，间隔越大，X向量在参数

向量上的投影越大。

Kernels I

如下图所示，特征x1,x2,x1x2,

是目标函数中的一些特征，然而高阶项不一定是我们需要的特征。采用构造特征的方法来构造目标函数式。

如下图所示，首先在训练样本中选取三个标记，

。选用高斯核函数作为构造新特征的方式。

如下图所示，如果选取的点x距离标记点较劲，则新特征值为1，如果较远，则为0.

下图所示参数

对结果的影响，如果偏小，会出现变化过快，偏差小，方差大。如果偏大，会出现偏差大，方差小的情况

具体分类效果如下图所示：

在参数

求得之后，只有距离l1,l2较近的点被分类为1，其他点分类为-1.

Kernels II

选择的标记点和训练样本点一致的情况，如下所示：

选择l1,l2,l3等等这些标记为训练样本，如下图所示：

参数C和参数

的取值大小对结果的影响如下所示：

吴恩达SVM的ppt：

chenyuanyuannoif/SVMgithub.com

代码来自：

代码思想：

对文档中的词建立一个3000维度的词典。为每篇邮件建立一个3000维度的向量，其中向量每一维度的值为词出现的次数（如果词在词典中）。之后把3000维度的向量作为本封邮件的特征进行训练。

源代码地址：

https://github.com/abhijeet3922/Mail-Spam-Filteringgithub.com

上述代码是组成词典的代码；

上述是对每篇文档（邮件）建立一个3000维向量的代码。

数据集：

https://www.dropbox.com/s/yjiplngoa430rid/www.dropbox.com

参考文章：

Email Spam Filtering : A python implementation with scikit-learnappliedmachinelearning.blog