(转载请注明出处：http://blog.csdn.net/buptgshengod)

1.背景

强烈推荐阅读（http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982639.html）

支持向量机SVM（support vector machines）。SVM是一种二值分类器，是近些年比较流行的一种分类算法。

本文，首先要介绍一些基本的知识概念，在下一章将对SVM进行简单地代码实现。

2.基本概念

（1）线性可分

首先介绍一下什么叫线性可分，引用一张上一节的图。线性可分实际上就是可以用一条直线将两种不同的点区分开来。由此我们可以得到线性不可分就是两种点混合在一起不能区分。但是线性不可分的点其实也可以用数学方法区分开来。比如说一个四维的数据集我们可以用一个三维的对象将其分开，这个对象叫做超平面。下图的超平面就是那条蓝线。

（2）支持向量

支持向量，现在我们知道了超平面的概念，支持向量其实就是距离超平面在最近的向量。以上图为例，就是距离蓝线最近的那些点。方法就是点到线的距离判定。一旦我们找到了这些支持向量，那么我们就可以放大这些向量，只考虑这些对象，用到的是序列最小优化的思想。

（3）拉格朗日乘子法

对于支持向量的求法，我们需要一定的约束条件。比如说我们设点到超平面的距离是d，我们要求取d>1的点作为约束条件。因为如果没有这个约束条件会使得计算出现误差。

这个公式是我们去点到超平面距离最小的点的集合，且满足

。在存在约束条件情况下求极值的问题，我们用到拉格朗日乘子法（参见百度百科）。

（4）变型

参照拉格朗日公式F(x1,x2,...λ)=f(x1,x2,...)-λg(x1,x2...)。我们把上面的式子变型为

约束条件就变成了

上式的参数c使松弛变量，因为我们看到图中一些红点被分到了绿点的范围里，为了考虑到这种问题，引入一个变量来控制。svm的主要任务是计算参数C。

【机器学习算法-python实现】svm支持向量机(1)—理论知识介绍相关推荐

决策算法python_GitHub - nxety/MachineLearning_Python: 机器学习算法python实现
机器学习算法Python实现目录 1.代价函数其中: 下面就是要求出theta,使代价最小,即代表我们拟合出来的方程距离真实值最近共有m条数据,其中代表我们要拟合出来的方程到真实值距离的平方,平 ...
机器学习算法 | Python实现k-近邻算法
机器学习算法 | Python实现k-近邻算法目录机器学习算法 | Python实现k-近邻算法基本介绍工作原理程序设计参考资料基本介绍 KNN,全名k近邻算法.是⼀种⾮常简单有效的机器 ...
灰狼优化算法GWO优化SVM支持向量机惩罚参数c和核函数参数g，有例子
灰狼优化算法GWO优化SVM支持向量机惩罚参数c和核函数参数g,有例子,易上手,简单粗暴,替换数据即可,分类问题. 仅适应于windows系统,质量保证,完美运行. 本人在读博士研究生,已发表多篇sc ...
数据库入门理论知识介绍以及编译安装MySql
数据库入门理论知识介绍以及编译安装MySql 作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 前言: 1.目前90%以上的公司面临的运维的瓶颈都在后端最常见的2大瓶颈就是: 1&g ...
实验二：用python实现SVM支持向量机并对鸢尾花数据集分类
实验二:SVM支持向量机 1. 实验内容: (1)用你熟知的语言(尽量使用python)实现支持向量机的算法,并在给定的数据集上训练. (2)在测试集上用训练好的支持向量机进行测试,并将预测结果以cs ...
10种经典机器学习算法——Python版
klearn python API LinearRegression from sklearn.linear_model import LinearRegression # 线性回归 # module ...
机器学习（18）-- SVM支持向量机（根据身高体重分类性别）
目录一.基础理论二.身高体重预测性别 1.获取数据(男女生身高体重) 2.数据处理(合并数据) 3.设置标签 4.创建分类器(支持向量机) 4-1.创建svm分类器 4-2.设置分类器属性(线性核 ...
【机器学习算法-python实现】决策树-Decision tree（1）信息熵划分数据集
1.背景决策书算法是一种逼近离散数值的分类算法,思路比较简单,而且准确率较高.国际权威的学术组织,数据挖掘国际会议ICDM (the IEEE International Conference o ...
【机器学习算法-python实现】svm支持向量机(2)—简化版SMO算法
(转载请注明出处:http://blog.csdn.net/buptgshengod) 1.背景知识通过上一节我们通过引入拉格朗日乗子得到支持向量机变形公式.详细变法可以参考这位大神的博客 ...

【机器学习算法-python实现】svm支持向量机(1)—理论知识介绍