SVM——传说中的核技巧
SVM说白了，就分三种应用方式：
（1）线性可分（硬间隔）
（2）线性不可分，但大致可分（软间隔）
（3）线性不可分，最优超平面误差极大，如异或问题区分{(0,0),(1,1)}和{(0,1),(1,0)}这两类，超平面无最优解，至少都有50%的误差，于是就要用到传说中的核函数（核技巧）
这篇文章将通过简单的例子，解释下这传说中的核技巧思想。其实说到底，SVM是数据挖掘中较为高效的二分类算法，但是如果遇到了线性不可分的情况（异或问题），SVM仍然想完成线性可分，那么在原来的样本空间内显然无法完成，但根据Cover模式可分性定理——指不定把样本映射到一个更高维的空间就可以实现线性可分了，于是核技巧应运而生！即通过核函数将原来的m0维的样本转换到另一个m1维空间（m1>=m0）：
假设存在线性不可分的N个m0维的向量 x1,...,xN，分为C1和C2两类，于是可通过这样一组函数（输入为向量，输出为一实数）：φ1(x),φ2(x),...,φm1(x) 是是，就可以将m0维的样本转换为m1维向量，即令m1维ϕ=[φ1(x),φ2(x),⋯,φm1(x)]T，而向量ϕ 可被认为是被映射到高维空间之后的输入数据x。φi(x)称为隐藏函数，其组成的向量ϕ所在的空间称为隐藏空间或特征空间。
如果样本在m1维空间里的映射恰巧线性可分，那么问题便简化为一个硬间隔线性可分问题。所以说白了，传说中的核技巧就是对初始样本进行非线性变换，在另一个高维空间找到最优超平面完成对样本映射的二分类，而那个高维空间的最优超平面映射回初始样本空间就变成了一个最优超曲面。下面举个简单的例子：
异或问题，将点(0,0)和(1,1)归于类A，点(0,1)和点(1,0)归于类B。我们可以通过这样一组变换函数：
φ1(x)=exp(−∥x−t1∥2)
φ2(x)=exp(−∥x−t2∥2)
这就是高斯隐藏函数，虽然只有两个隐藏函数，所以对应的高维空间也只有二维，但是已经可以实现线性可分。其中t1=(1,1)，t2=(0,0)；也就是将样本点x与点(1,1)和点(0,0)的距离作为函数变量。转换之后结果如下,显然已经线性可分。
| 转换前 | 转换后 |
| （0，0） | （0.1353，1.000） |
| （0，1） | （0.3678，0.3678） |
| （1，0） | （0.3678，0.3678） |
| （1，1） | （1.000，0.1353） |
SVM——传说中的核技巧相关推荐
- SVM之线性不可分与核技巧
跟我一起机器学习系列文章将首发于公众号:月来客栈,欢迎文末扫码关注! 在前面两篇文章中,笔者通过两个角度来介绍了什么是支持向量机.不过说一千道一万,还是不如动手来做做.在本篇文章中,笔者将首先介绍如何 ...
- 手撕SVM公式——硬间隔、软间隔、核技巧
1.SVM作用 对于给定的训练样本集D={(x1,y1), (x2,y2),- (xn,yn)},yi属于{-1,+1},希望能找出一个超平面,把不同类别的数据集分开,对于线性可分的数据集来说,这样的 ...
- 《SVM笔记系列之六》支持向量机中的核技巧那些事儿
<SVM笔记系列之六>支持向量机中的核技巧那些事儿 前言 我们在前文[1-5]中介绍了线性支持向量机的原理和推导,涉及到了软和硬的线性支持向量机,还有相关的广义拉格朗日乘数法和KKT条件等 ...
- SVM详解(三)支持向量机使用核技巧
文章目录 1. 数据升维处理非线性可分问题 2. CoverCoverCover 定理 3. 核函数 4. 常用核函数 5. 非线性支持向量机学习算法 1. 数据升维处理非线性可分问题 通过前面的学习 ...
- 【机器学习－西瓜书】六、支持向量机：核技巧；软间隔；惩罚因子C；松弛变量
推荐阅读: 核技巧:惩罚因子C 关键词:核技巧:软间隔:惩罚因子C:松弛变量 6.3核函数 关键词:核函数:核技巧 上一节讲到,SVM寻找的是使得间隔最大的那一个超平面作为分类器,这还是一个线性分类器 ...
- 再生希尔伯特空间_向量、函数向量、再生核希尔伯特空间、核技巧
参考引用:A Story of Basis and Kernel 来源:http://songcy.net/ 向量与内积 在一个 空间中,我们可以通过 个独立向量的线性组合来表示这个空间里的任意向量. ...
- SVM Soft/Hard/核 原理整理
SVM简介 SVM是定义在特征空间上的间隔最大的线性分类器(可以使用核函数来实现非线性分类),本质上是求解凸二次规划的最优化算法 SVM的特点 1．训练好的模型的算法复杂度是由支持向量的个数决定的,而 ...
- 如何提升CSS技术？8个硬核技巧带你迅速提升CSS技术
神器的选择器 浅谈布局那些事 绘制三角的原理 完美极致的变量 添油加醋的伪元素 灵活多变的障眼法 意向不到的内容插入 无所不能的模拟点击事件 准备工作 整个分享过程不搞那些乱七八糟的环境搭建.既然只玩 ...
- RDKit | 基于支持向量机（SVM）的二分类活性预测模型
基于结构-活性相互作用数据,使用SVM(支持向量机),尝试判断测试化合物的活性. SVM SVM:(Support Vector Machine, 支持向量机)是一种二分类模型,它的基本模型是定义在特 ...
最新文章
- MySQL普通用户修改密码
- 多进程实现生产者消费者
- 初始java_第一章__初始JAVA
- 统计Apache或Nginx访问日志里的独立IP访问数量的Shell
- abap 创建出口历程_SAP ABAP第一，两，三代出口型BADI实现 解释的概念
- OneProxy实现mysql读写分离
- 利用图像来测量的技术——数字图像相关法(DIC)
- 广数系统加工中心编程_数控铣和加工中心编程
- 微信公众号开发--Emoji表情（可用于关注自动回复等）
- iOS 8 界面设计 PSD 模板（iPhone 6），免费下载
- 链公公 x 凰药师 x 元天益生：供应链金融支持健康与科技农业 |Chain++
- Arduino人体红外模块控制
- 商业化广告--体系学习-- 10 -- 业务实战篇 -- 效果优化：如何一步步从提升曝光量深入到提升销量？
- 怎么确定光纤分光器的分光比？
- int类型以及指针的类型所占字节的大小，到底是由什么决定的？
- Blockchain Empowered Asynchronous Federated Learning for Secure Data Sharing in IoV
- ssoj1338蜘蛛侠 trampolin
- php 可视化编辑建站源码,CmsEasy可视化编辑商城系统 v7.3.1
- Java延时的三种方法
- 如何用panda3d写一个游戏