机器学习——支持向量机(SVM)之超平面、间隔与支持向量
描述
SVM是一种二类分类模型,基本模型是定义在特征空间中的间隔最大的线性分类器。
学习策略是间隔最大化。
训练集线性可分时,通过硬间隔最大化,学习一个线性可分支持向量机;
训练集近似线性可分时,通过软间隔最大化,学习一个线性支持向量机;
训练集线性不可分时,通过核技巧与软间隔最大化,学习一个非线性支持向量机;
超平面
附上链接,一篇讲解超平面的干货,讲的很好!!!
http://www.sohu.com/a/206572358_160850
在样本空间中,划分超平面可通过如下线性方程来描述:
w为超平面的法向量,决定了超平面的方向;b为位移项,决定了超平面到原点的距离。
任意样本点到超平面的距离可以表示如下:
线性可分支持向量机
给定线性可分训练集,通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为:
以及相应的分类决策函数
称为线性可分支持向量机。
函数间隔和几何间隔
1.函数间隔
在超平面wx+b=0确定的情况下,|wx+b|能够相应地表示点x距离超平面的远近,而wx+b的符号与类标记y的符号是否一致能够表示分类是否正确,所以可以用y(wx+b)来表示分类的正确性及确信度,这就是函数间隔的概念。则超平面关于样本点(xi,yi)的函数间隔可表示为:
总之,超平面关于整个训练集的函数间隔为超平面关于训练集中所有样本点的函数间隔之最小值,即:
2.几何间隔
在选择分离超平面时,只有函数间隔是不够的,因为当w和b成比例地缩放时,函数间隔也会成比例地变化。所以我们可以对超平面的法向量w加以约束,如规范化,||w||=1,使得间隔是确定的,这时函数间隔是几何间隔。
超平面关于样本点(xi,yi)的几何间隔可表示为:
总之,超平面关于整个训练集的几何间隔为超平面关于训练集中所有样本点的几何间隔之最小值,即:
SVM学习的基本想法: 求解出能够正确划分训练集并且超平面关于整个训练集的几何间隔最大的分离超平面。
小结:
如果超平面参数w和b成比例地改变(超平面没有改变),函数间隔也会成比例地改变,而几何间隔不会变。
3.间隔最大化
线性可分分离超平面有无穷多个,但是几何间隔最大的分离超平面(最大间隔分离超平面)是唯一存在的。
求得几何间隔最大的分离超平面 (最大间隔分离超平面) 的问题可以表示为下面的约束最优化问题:
又因为,从上面已知:函数间隔与几何间隔的关系,所以问题可以改写为:
因为函数间隔的取值不影响最优化问题的解,所以取函数间隔=1,则问题可以改写为:
注意到:最大化1/||w||等价于最小化||w||²/2,则问题可以改写为:
最终,改写为一个凸二次规划问题。
支持向量
支持向量: 距离超平面最近的几个样本点,如上图,在H1,H2上的点就是支持向量。
H1,H2称为间隔边界。
注意: 在决定分离超平面时,只有支持向量起作用,而其他实例点不起作用。由于支持向量在确定分离超平面中起着决定性作用,所以把这种分类模型称为支持向量机,支持向量的个数一般很少,所以SVM由很少的“重要的”训练样本确定。
机器学习——支持向量机(SVM)之超平面、间隔与支持向量相关推荐
- 机器学习——支持向量机SVM之线性模型
目录 一.没有免费的午餐定理 二.支持向量机SVM(support vector machine) 1.线性模型和非线性模型 2.如何在线性模型中画出一条直线(优化过程--vplink) 1)多少条? ...
- 支持向量机 (三): 优化方法与支持向量回归
拉格朗日乘子法 - KKT条件 - 对偶问题 支持向量机 (一): 线性可分类 svm 支持向量机 (二): 软间隔 svm 与 核函数 支持向量机 (三): 优化方法与支持向量回归 优化方法 一.S ...
- 机器学习——支持向量机——硬间隔与支持向量
上篇文章我们简单介绍了SVM的几种情况,这篇文章我们来对SVM的基本型进行研究. 支持向量机简述 软间隔与正则化,核函数 文章目录 前言 一.超平面公式引出 二.最大间隔 三,优化约束,拉格朗日函数, ...
- 机器学习-支持向量机SVM算法
文章目录 简介 原理 硬间隔 支持向量 对偶问题 软间隔 核函数 SMO算法 小结 多分类问题 回归问题 应用示例 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点 ...
- Python 西瓜书机器学习支持向量机(SVM)
%matplotlib inline #为了在notebook中画图展示 import numpy as np import matplotlib.pyplot as plt from scipy i ...
- 机器学习支持向量机SVM笔记
SVM简述: SVM是一个线性二类分类器,当然通过选取特定的核函数也可也建立一个非线性支持向量机.SVM也可以做一些回归任务,但是它预测的时效性不是太长,他通过训练只能预测比较近的数据变化,至于再往后 ...
- 机器学习西瓜书笔记:软间隔和支持向量回归SVR
1.首先由SVM问题(最大间隔超平面模型):所有样本都可以正确分类的最优化问题,引入软间隔SVM(允许分类错误)的最优化问题,即需要添加损失函数(样本不满足约束的程度,或者说分类错误的程度),然后最优 ...
- 机器学习——支持向量机SVM之非线性模型(原问题和对偶问题)
目录 一.原问题(prime problem) 二.原问题的对偶问题(dual problem) 1.定义一个辅助函数 2.定义对偶问题 >>>问题1:上面说到遍历w,那w的取值范围 ...
- 机器学习——支持向量机SVM之非线性模型(低维到高维映射)
目录 一.非线性模型的最优化问题 1.非线性模型最优化模型 2.两个概念 1)正则项(regularization term) 2)调参参数 2.高维映射 1)定义及作用 2)高维映射后的最优化模型 ...
最新文章
- 返还网 PK 返利网*2
- dva 打包多个html,使用dva+umi+antd构建页面(一)
- socket编程之中的一个:计算机网络基础
- javaweb利用servlet与struts2实现可点击刷新的基础图片验证码
- 我想给小舅子投资个普通的洗车行,我出钱,他出力,五五分利润,可以吗?
- @Html.ValidationSummary()作用
- 菜鸟从零学编程——GET与POST
- My eclipse和Eclipse平台 JSP可视化编程工具
- 5v继电器模块实物接线_继电器实物接线图
- html5背景好看颜色渐变css样式,CSS3制作渐变背景
- 琪琪的果园{青龙面板可跑项目之一}保姆教程
- Ubuntu下Apache重启错误:Could not reliably determin解决
- 青春野狼不做姐控偶像的梦 - 线段树 - 扫描线 - 单调栈
- 分支与循环语句(下)
- tp5框架实现推送消息到企业微信机器人(从需求分析、方案设计、研发阐述)
- MT6572平台加入呼吸灯功能——控制芯片SN3112-12简介
- 搭档之家:首款透明电视来啦!小米大师系列预售立即秒光,你抢到了吗?
- 从头开始学习React
- 接收一个正整数,判断该数字是否为质数质数(质数是指在大于1的自然数中,除了1和它本身以外不再有其他因数的自然数)
- html5+canvas+javascript开发打灰机小游戏