R语言高级算法之支持向量机(Support Vector Machine)

1.支持向量机原理解析
机器学习本质上就是一种对所研究问题真实模型的逼近,通常会假设一个近似模型,然后根据适当的原理将这个近似模型不断逼近真实模型.结构风险就是指近似模型与真实模型之间的差距.
我们可以用某些方法来逼近真实模型,最直观的想法就是使用分类器在样本数据上的分类结果与真实结果之间的差值来表示,这个差值统计上为经验风险Remp(W).
在过去的机器学习方法中,通常将经验风险最小化作为努力目标,但是由于过度拟合,而使得模型无推广能力.统计学因而引进了泛化误差界的概念.所谓泛化误差界是指真实风险应该由两部分内容刻画:一是经验风险,代表了分类器在给定样本上的误差;二是置信风险,代表了我们在多大程度上可以信任分类器在未知样本上分类的结果.统计学习的目标就是从经验风险最小化变为了寻求经验风险与置信风险之和最小化,即结构风险最小化(Structural Risk Minimization).支持向量机就是努力寻求最小化结构风险的算法.
我们可以把支持向量机理解为高级的线性回归或线性判别。

2.在R语言中的应用
支持向量机算法我们主要用到了R语言e1071包里面的svm(formula,data,type,kernel,degree,gamma,coef,nu)函数
type取值有C-classification/nu-classification/one-classification/eps-regression/nu-regression.前三种是针对字符型结果变量的分类方式,其中第三种是逻辑判别,即输出结果是是否属于该类别,后两种则是针对数量型结果变量的分类方式.
kernel有四个参数,线性核函数linear/多项式核函数ploynomial/径向基核函数(高斯函数)radial basis/神经网络核函数sigmoid.经研究发现,识别率最高/性能最好的是高斯函数,其次是多项式函数,而最差的是神经网络函数.高斯函数是局部函数,学习能力强,但泛化能力弱;多项式函数则是全局性函数。
3.以iris数据集为例进行支持向量机判别分析
1)应用模型并观察结果
fit_svm=svm(Species~.,data=iris)
fit_svm[1:length(fit_svm)]

2)进行预测和模型评测

R语言高级算法之支持向量机(Support Vector Machine)相关推荐

机器学习算法系列（十四）-硬间隔支持向量机算法（Hard-margin Support Vector Machine）
阅读本文需要的背景知识点:拉格朗日乘子法.KKT条件.一丢丢编程知识一.引言前面一节我们介绍了一种分类算法--朴素贝叶斯分类器算法,从概率分布的角度进行分类.下面我们会花几节来介绍另一种在分类 ...
机器学习算法系列（十五）-软间隔支持向量机算法（Soft-margin Support Vector Machine）
阅读本文需要的背景知识点:硬间隔支持向量机.松弛变量.一丢丢编程知识一.引言前面一节我们介绍了一种最基础的支持向量机模型--硬间隔支持向量机,该模型能对线性可分的数据集进行分类,但现实中的数据 ...
机器学习算法系列（十六）-非线性支持向量机算法（Non-Linear Support Vector Machine）
阅读本文需要的背景知识点:线性支持向量机.一丢丢编程知识一.引言前面我们用两节介绍了两种支持向量机模型--硬间隔支持向量机.软间隔支持向量机,这两种模型可以统称为线性支持向量机,下面来介绍另一 ...
R语言高级算法之人工神经网络（Artificial Neural Network）
1.人工神经网络原理分析: 神经网络是一种运算模型,由大量的节点(或称神经元)和之间的相互连接构成,每个节点代表一种特定的输出函数,称为激励函数(activation function).每两个节点间 ...
支持向量机(support vector machine)(SVM)(1)
背景对于两类问题,给定数据,使用线性函数,如何分类? 方案1(只看黑色分界线,红色不用管) 方案2(只看黑色分界线,红色不用管) 哪一个更好? 第二个好,将两类数据分得更开,而且: 建模有了目标之 ...
西瓜书+实战+吴恩达机器学习（十）监督学习之支持向量机 Support Vector Machine
文章目录 0. 前言 1. 拉格朗日乘子法 2. SVM参数求解方法 3. 软间隔 4. 核方法 5. 支持向量回归如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前 ...
机器学习中的数学基础（4.1）：支持向量机Support Vector Machine（SVM）
SVM可以说是一个很经典的二分类问题,属于有监督学习算法的一种.看过那么多的博客知乎解释SVM我一定要自己总结一篇,加深一下自己的理解. 带着问题去读文章会发现,柳暗花明又一村,瞬间李敏浩出现在眼前的 ...
支持向量机SVM(Support Vector Machine）是一个有监督的学习模型
前言动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,原因很简单,一者这个东西本身就并不好懂,要深入学习和研究下去需花费不少时间和精力,二者这个东西也不好讲清 ...
李宏毅svm_【李宏毅机器学习笔记】 18、支持向量机（Support Vector Machine，SVM）...
[李宏毅机器学习笔记]1.回归问题(Regression) [李宏毅机器学习笔记]2.error产生自哪里? [李宏毅机器学习笔记]3.gradient descent [李宏毅机器学习笔记]4.Cl ...

R语言高级算法之支持向量机(Support Vector Machine)

R语言高级算法之支持向量机(Support Vector Machine)相关推荐

最新文章

热门文章