【直观详解】支持向量机SVM

【阅读时间】

13min - 19min

【内容简介】

详解解读什么是支持向量机，如何解支持向量以及涉及的拉普拉斯乘子法，还有核方法的解读。

什么是支持向量机-SVM

支持向量机-SVM(Support Vector Machine)从本质来说是一种：用一条线（方程）分类两种事物。

有了直观的感知，在定义这一节在做一些深入的思考，分解名词（Support Vector Machine）并尝试解释：

如何求解支持向量机

对于我们需要求解的这个超平面（直线）来说，我们知道

它离两边一样远（待分类的两个部分的样本点）
最近的距离就是到支持向量中的点的距离

根据这两点，抽象SVM的直接表达（Directly Representation）

其实这个公式是一点也不抽象，需要更进一步的用符号来表达。

我们知道在准确描述世界运行的规律这件事上，数学比文字要准确并且无歧义的多，文字（例子）直观啰嗦，数学（公式）准确简介

硬间隔

补充一些关于二次规划算法的相关，(3)式的约束是一个不等式约束，所以我们可以使用KKT条件得到三个条件：

使用这些条件，可以构建高效算法来解这个方程，比如SMO（Sequential Minimal Optimization）就是其中一个比较著名的。至于SMO是如何做的，考虑到现代很多SVM的Pakage都是直接拿来用，秉承着前人付出了努力造了轮子就不重复造的核心精神，直接调用就好

软间隔

已经说明了如何求得方程，以上的推导形式都是建立在样本数据线性可分的基础上，如果样本数据你中有我我中有你（线性不可分），应该如何处理呢？这里就需要引入软间隔（Soft Margin），意味着，允许支持向量机在一定程度上出错

三种常见损失函数如下图

(8)式就是常见的软间隔支持向量机，其中，每一个样本都有一个对应的松弛变量，用以表征该样本不满足约束的程度，求解的方法同理硬间隔支持向量机

支持向量机扩展

核方法

以上我们求解的支持向量机都是在线性情况下的，那么非线性情况下如何处理？这里就引入：核方法

对于这样的问题，可以将样本从原始空间映射到一个更高为的特征空间，使得样本在这个特征空间内线性可分。

同理上文中引入拉格朗日乘子，求解整个方程后可得

也可以通过函数组合得到这些值

多类问题

多类问题可以使用两两做支持向量机，再由所有的支持向量机投票选出这个类别的归属，被称为one-versus-one approace。

更多文章欢迎访问https://charlesliuyx.github.io或者访问原文链接

Reference

知乎各类回答
Wiki百科
PRML
周志华-机器学习

【直观详解】支持向量机SVM相关推荐

支持向量机SVM详细原理，Libsvm工具箱详解，svm参数说明，svm应用实例，神经网络1000案例之15
目录支持向量机SVM的详细原理 SVM的定义 SVM理论 Libsvm工具箱详解简介参数说明易错及常见问题 SVM应用实例,基于SVM的股票价格预测支持向量机SVM的详细原理 SVM的定义 ...
详解支持向量机（Support Vector Machine, SVM）
接触支持向量机(Support Vector Machine, SVM)有很长一段时间了,对它的原理一直懵懵懂懂.有幸在国科大听了兰艳艳老师的课,对SVM有了更加深入的认识,决定写成笔记记录下来,当作 ...
详解支持向量机（Support Vector Machines, SVM）
文章目录一.原始目标 (一)超平面方程 (二)严格线性可分问题二.目标解析三.兼容软间隔四.兼容非线性分割五.拉格朗日乘数法六.核函数七.SMO算法 (一)无约束最小化 (二)根据约束条 ...
详解支持向量机（SVM）算法与代码实现
支持向量机(SVM)算法与代码实现约束优化问题硬间隔 SVM 软间隔 SVM 核方法介绍 SVM代码实现自编函数实现 sklearn.svm.SVC 小结支持向量机(SVM)算法在分类问题中有 ...
机器学习第六篇：详解支持向量机算法
(本文框架) 01|概念及原理: 支持向量机是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器. 说的通俗一点就是就是在特征空间里面用某条线或某块面将训练数据集分成两类,而依据的原 ...
【直观详解】线性代数的本质
转载自:https://charlesliuyx.github.io/2017/10/06/%E3%80%90%E7%9B%B4%E8%A7%82%E8%AF%A6%E8%A7%A3%E3%80%91 ...
【机器学习详解】SVM解回归问题
转载请注明出处:http://blog.csdn.net/luoshixian099/article/details/51121767 CSDN−勿在浮沙筑高台 \color{Blue}{CSDN-勿 ...
如何用计算机解kkt条件,【直观详解】拉格朗日乘法和KKT条件
[阅读时间]8min - 10mun [内容简介]直观的解读了什么是拉格朗日乘子法,以及如何求解拉格朗日方程,并且给出几个直观的例子,针对不等式约束解读了KKT条件的必要条件和充分条件 What &a ...

【直观详解】支持向量机SVM

【直观详解】支持向量机SVM相关推荐

最新文章

热门文章