文中借鉴引用CSDN各大博主文献，图片，并非完全原创。

支持向量机SVM是一种二类分类模型，其基本模型是定义在特征空间上的间隔最大的线性分类器。

硬间隔：要求所有样本又必须划分正确

软j间隔：允许一些样本（不满足(w^t)x + b >= 1）出错。

当训练数据线性可分时：通过硬间隔最大化，学习一个线性的分类器，即线性可分支持向量机（硬间隔SVM）。

当训练数据近似线性可分时：通过软间隔最大化，学习一个线性的分类器，即线性支持向量机（软间隔SVM）

当训练数据线性不可分时：通过使用核技巧及软间隔最大化，学习非线性支持向量机。

支持向量机包括的内容：

支持向量最大间隔线性可分/不可分凸优化问题对偶问题核函数的使用 SMO算法

对于SVM和LR的异同：

相同：

不同：

线性可分支持向量机

让我们从一个线性分类任务开始

如果一个线性函数能够将样本分开，我们称这些数据样本是线性可分的。那么什么是线性函数？在二维空间中，线性函数就是一条y关于x的直线，三维空间就是一个平面，以此类推。如果不考虑空间维数，那么这个间隔函数被统称为超平面。

硬间隔支持向量机

间隔最大化和支持向量：

对于一个二维空间，如下图:

有很多条线都能将其分开（无数条）。而我们所说的线性可分支持向量机就对应着能将数据正确划分并且间最大的直线。

那么怎么才能间隔最大？一般来说，一个点距离超平面的远近可以表示为分类预测的确信度，一开始图中的A，B两点，B被预测为正类的确定度大于A。所以SVM的目标是寻找一个超平面，使得离超平面较近的异类点能够有更大的间隔。即：不用考虑所有点，只需让求得的离超平面使离它近的点的间隔最大。

计算间隔：

其实间隔说白了就是：两个异类支持向量的差在W方向上的投影，W方向是超平面的法线方向。

最后的结论公式便是支持向量机的基本型。

。该基本型是一个凸二次规划问题，什么是凸二次规划见数学基础（凸）。

软间隔支持向量机

在前面的讨论中，我们假设训练样本在样本空间或特征空间是线性可分的，但在现实任务中往往很难确定合适的核函数（见非线性与核）使得训练集在特征空间中线性可分。退一步说，即使恰好找到了这样的核函数使得样本在特征空间中线性可分，也很难判断是不是由于过拟合做成。

松弛变量：为了解决这种问题，可引入松弛变量。

非线性与核

对于非线性问题，线性可分支持向量机并不能有效解决，要使用非线性模型才能很好的分类。

如下图：可以使用一个椭圆将它们分开。非线性问题往往不好求解，所以希望能使用解线性分类问题的方法求解，因此可以采用非线性变换，将非线性函数变换为线性函数。

对于这种问题：可以将训练样本从原始空间映射到一个更高维的空间，使得样本在这个空间中线性可分。如果原始空间维数是有限的，即属性是有限的，那么一定存在一个高维特征空间是线性可分的。令ϕ(x)表示将 x 映射后的特征向量，于是在特征空间中，划分超平面所对应的的模型可表示为：

即xi和xj在特征空间中的内积等于他们在原始样本空间中通过函数k（xi，xj）计算的函数值。

SVM支持向量机原理总结相关推荐

SVM -支持向量机原理详解与实践之五
SVM -支持向量机原理详解与实践之四 SVM原理分析 SMO算法分析 SMO即Sequential minmal optimization, 是最快的二次规划的优化算法,特使对线性SVM和稀疏数据性 ...
SVM -支持向量机原理与实践之实践篇
SVM -支持向量机原理与实践之实践篇前言最近太忙,这几天还是抽空完成实践篇,毕竟所有理论都是为实践服务的,上一篇花了很大篇幅从小白的角度详细的分析了SVM支持向量积的原理,当然还有很多内容没有涉 ...
SVM支持向量机原理(二) 线性支持向量机的软间隔最大化模型
在支持向量机原理(一) 线性支持向量机中,我们对线性可分SVM的模型和损失函数优化做了总结.最后我们提到了有时候不能线性可分的原因是线性数据集里面多了少量的异常点,由于这些异常点导致了数据集不能线性可 ...
SVM(支持向量机)原理及数学推导全过程详解
由于格式问题,为方便阅读,请点击下方链接访问原文点击此处访问原文点击此处访问原文点击此处访问原文点击此处访问原文关于SVM网上已经有很多很多的前辈有过讲解,这两天自己在网上看了看资料,结合前 ...
SVM支持向量机原理
(一)SVM的简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的,它在解决小样本.非线性及高维模式识别中表现出许多特有的优势,并能够推广 ...
SVM（support vector machine）支持向量机原理详解
SVM是什么? SVM - support vector machine, 俗称支持向量机,为一种supervised learning算法,属于classification的范畴. 在数据挖掘的应用 ...
支持向量机SVM算法原理及应用（R）
支持向量机SVM算法原理及应用(R) 2016年08月17日 16:37:25 阅读数:22292更多个人分类: 数据挖掘实战应用版权声明:本文为博主原创文章,转载请注明来源. https://b ...
监督学习 | SVM 之非线性支持向量机原理
文章目录 1. 非线性支持向量机 1.1 核技巧 1.2 核函数 1.2.1 核函数选择 1.2.2 RBF 函数参考资料相关文章: 机器学习 | 目录机器学习 | 网络搜索及可视化监督学习 ...
监督学习 | SVM 之线性支持向量机原理
文章目录支持向量机 1. 线性可分支持向量机 1.1 间隔计算公式推导 1.2 硬间隔最大化 1.2.1 原始问题 1.2.2 对偶算法 1.3 支持向量 2. 线性支持向量机 2.1 软间隔最大化 ...
Python3《机器学习实战》学习笔记（八）：支持向量机原理篇之手撕线性SVM
原 Python3<机器学习实战>学习笔记(八):支持向量机原理篇之手撕线性SVM 置顶 2017年09月23日 17:50:18 阅读数:12644 转载请注明作者和出处: https: ...

SVM支持向量机原理总结

线性可分支持向量机

软间隔支持向量机

非线性与核

SVM支持向量机原理总结相关推荐

最新文章

热门文章