SVM公式逻辑

Support Vector Machine 是个分类模型，硬间隔hard-margin就是数据在特征空间是完全线性可分的。sign为符号函数。我们设点到分类margin的距离为distance，SVM的核心方法就是找到一个使得最小distance最大的margin。(最小distance的点就是距离margin最近的点)。

max min distance 同时要满足yi·(W^T·xi+b) > 0，因为间隔yi·(W^T·xi+b)是可以缩放大小的，所以我们就将minyi·(W^T·xi+b)设为r=1，即1-yi·(W^T·xi+b)<=0。这样一个带约束的问题解决起来比较麻烦，将它写成拉格朗日乘子的形式，当λi>=0，拉乘子形式就等价于原问题。

又因为是凸二次问题，所以通过强对偶关系将max min 转换成 min max 。

整理一下，整个公式的推导流程如下：带约束->无约束->强对偶->简化，强对偶关系，所以问题得满足KKT条件，通过KKT条件我们得出的间隔就是 yi·(W*^T·xi+b*)，图中yi·(W^T·xi+b)=1的点就是距离margin最近的或者说distance最小的点。

软间隔-不完全线性可分

软间隔soft-margin是指数据不是完全线性可分的，中间会有一些本属于A类却乱入B类圈子的样本，所以我们可以允许一些loss，当然我们也要统计好这些loss有多少，并且最终的最优分类间隔下的loss肯定是最小的。

当有一个点的yi·(W^T·xi+b)<1时，那这个点就是乱入点，loss就设为乱入的距离，yi·(W^T·xi+b)>=1时，loss=0。和hard-margin一样的求解方式。

核方法-完全线性不可分

除此之外，为了解决完全线性不可分的问题，通过核方法：将低维线性不可分的样本x升至高维样本Φ(x)让其线性可分。但是比如对于SVM问题，对于求解公式中Φ(x i^T)·Φ(xi)计算复杂，所以kernel function核函数是直接求解Φ(x i^T)·Φ(xi)的简便函数。

大家先暂时理解原理，后面kernel function下次再补上。有问题可以留言，相互探讨。

【SVM】支持向量机数学公式相关推荐

SVM支持向量机通俗导论（理解SVM的三层境界）
神文转自july:http://blog.csdn.net/v_july_v/article/details/7624837 支持向量机通俗导论(理解SVM的三层境界) 作者:July .致谢:pl ...
历经一个月，终于搞定了SVM(支持向量机)-附源代码解析
历经一个月,终于搞定了SVM(支持向量机)-附源代码解析前言其实整体算下来,断断续续的也得有快两个月了(原谅博主比较笨).中间也有好几次放弃,不想写这篇总结了,但是之前立下的誓言,要将学习到的每一 ...
惊呼——SVM支持向量机三重境界！
转载自:原文前言动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,原因很简单,一者这个东西本身就并不好懂,要深入学习和研究下去需花费不少时间和精力,二者这个 ...
机器学习（18）-- SVM支持向量机（根据身高体重分类性别）
目录一.基础理论二.身高体重预测性别 1.获取数据(男女生身高体重) 2.数据处理(合并数据) 3.设置标签 4.创建分类器(支持向量机) 4-1.创建svm分类器 4-2.设置分类器属性(线性核 ...
R语言SVM支持向量机模型数据分类实战：探索性数据分析、模型调优、特征选择、核函数选择
R语言SVM支持向量机模型数据分类实战:探索性数据分析.模型调优.特征选择.核函数选择目录 R语言SVM支持向量机模型数据分类实战:探索性数据分析.模型调优.特征选择.核函数选择 #SVM基本原 ...
SVM -支持向量机原理详解与实践之五
SVM -支持向量机原理详解与实践之四 SVM原理分析 SMO算法分析 SMO即Sequential minmal optimization, 是最快的二次规划的优化算法,特使对线性SVM和稀疏数据性 ...
ML：基于自定义数据集利用Logistic、梯度下降算法GD、LoR逻辑回归、Perceptron感知器、SVM支持向量机、LDA线性判别分析算法进行二分类预测(决策边界可视化)
ML:基于自定义数据集利用Logistic.梯度下降算法GD.LoR逻辑回归.Perceptron感知器.支持向量机(SVM_Linear.SVM_Rbf).LDA线性判别分析算法进行二分类预测(决策 ...
ML之SVM：基于SVM(支持向量机)之SVC算法对手写数字图片识别进行预测
ML之SVM:基于SVM(支持向量机)之SVC算法对手写数字图片识别进行预测目录输出结果设计思路核心代码输出结果设计思路核心代码 X_train = ss.fit_transform(X ...
SVM支持向量机详解
支持向量机支持向量机优化目标大边界大边界分类背后的数学核函数使用SVM 什么时候使用SVM 支持向量机(Support Vector Machine)是一个广泛应用于工业界和学术界的算法. ...
SVM支持向量机(上）
参考https://baike.baidu.com/item/%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA/9683835?fromtitle=SVM&a ...

【SVM】支持向量机数学公式

SVM公式逻辑

软间隔-不完全线性可分

核方法-完全线性不可分

【SVM】支持向量机数学公式相关推荐

最新文章

热门文章