SVM核函数RBF的参数

本文翻译自《RBF SVM parameters》。

本例将阐明径向基函数（RBF）做SVM的核函数时参数gamma和C的影响。

直观地，参数gamma定义了单个训练样本的影响大小，值越小影响越大，值越大影响越小。参数gamma可以看作被模型选中作为支持向量的样本的影响半径的倒数。

参数C在误分类样本和分界面简单性之间进行权衡。低的C值使分界面平滑，而高的C值通过增加模型自由度以选择更多支持向量来确保所有样本都被正确分类。

图1是只有两个输入特征和两个可能目标分类（二分类）的简单分类问题在取不同参数值时的决策函数的可视化。注意当有更多特征和目标分类时这种图便画不出来了。

图2是分类器交叉验证的正确率作为C和gamma的函数绘制出的热力图。在这个例子中出于演示目的，我们探索了一个相对较大的参数范围。在实践中，10^-3到10³的对数范围一般来说是足够的。如果最佳参数位于范围的边界，则可以向该方向扩展范围做进一步的搜索。

注意到热力图中有一个特殊的彩条，它的中间点的值接近于模型表现最好的得分，这是一眼就可以看到的。

模型的行为对于参数gamma十分敏感。如果参数gamma过大，支持向量的影响半径将小到只能影响到它自己，这时再怎么调整参数C也不能避免过拟合。

当参数gamma非常小时，模型会过于拘束不能捕捉到数据的复杂性或“形状”。任何选中的支持向量的影响区域将包含整个训练集。模型的结果将表现地像是用一组超平面分割两类或多类的高密度中心的线性模型。

至于中间值，我们在图2中可以看到，参数gamma和C的对角线上可以找到好的模型。平滑的模型（更小的gamma值）可以通过选择大量的支持向量（更大的C值）来获得更高的复杂度，于是好的模型便出现在了对角线上。

最后我们也观察到对一些gamma的中间值，当C取非常大的值时依旧可以得到表现良好的模型：没有必要通过限制支持向量的数量来实现正则化。RBF核的半径本身就是一个很好的结构调整器。在实践中仍可能会对通过一个较小的C值来限定支持向量的数目感兴趣，这样就可以使模型使用更少的内存，更快地做出预测。

我们还应该指出随机分割的交叉验证会导致结果得分有细微的不同。通过以计算时间为代价增加CV迭代次数n_splits，可以平滑这种细微的不同。在热力图中增加参数C和gamma的取值步长会降低热力图的分辨率。

SVM核函数RBF的参数相关推荐

探索支持向量机SVM核函数的性质
目录 1.乳腺癌数据集下探索核函数的性质 1.1 探索kernel该如何选取 1.2 调参提升模型 2.软间隔与重要参数C 2.1 硬间隔与软间隔 2.2 参数C 2.3调整线性核函数 2.4调整高斯 ...
SVM（核函数、高斯核函数RBF）
转载自博客园:https://www.cnblogs.com/volcao/p/9465214.html SVM(核函数.高斯核函数RBF) 一.核函数(Kernel Function) 1)格式 K ...
matlab svm核函数选择,SVM分类核函数及参数选择比较.pdf
Compu~r Engineering口 4 胁日ff0 计算机工程与应用 SVM分类核函数及参数选择比较奉国和 FENG Guohe 华南师范大学经济管理学院信息管理系,广州 5 10006 ...
机器学习之支持向量机实例，线性核函数多项式核函数 RBF高斯核函数 sigmoid核函数
文章目录支持向量机实例 1.线性核函数 2.多项式核函数 3.RBF高斯核函数 4.sigmoid核函数代码: 结果: 支持向量机实例 1.线性核函数 def test_SVC_linear(): ...
matlab二分类svm高斯核实例,16 SVM - 代码案例三 - 不同SVM核函数效果比较
SVM的章节已经讲完,具体内容请参考:<01 SVM - 大纲> 常规操作: 1.头文件引入SVM相关的包 2.防止中文乱码 3.读取数据 4.数据分割训练集和测试集 6:4 import ...
2-分类问题 SVM 核函数
目录一,核函数的引入二,核函数的定义三,核函数介绍: 四,核函数总结: 一,核函数的引入世界上本来没有两个完全一样的物体,对于所有的两个物体,我们可以通过增加维度来让他们最终有所区别,比如说两 ...
【机器学习系列】之SVM核函数和SMO算法
作者:張張張張 github地址:https://github.com/zhanghekai [转载请注明出处,谢谢!] [机器学习系列]之SVM硬间隔和软间隔 [机器学习系列]之SVM核函数和SMO ...
机器学习算法之不同SVM核函数效果比较
世界上有 10 种人: 一种知道二进制一种不知道二进制最后一种以为这是个二进制笑话工程代码完整已上传:不同SVM核函数效果比较如图所示的两类数据,分别分布为两个圆圈的形状,这样的数据本身就是线 ...
核函数及SVM核函数的选择
核函数: 实际应用中,我们经常遇到数据线性不可分问题,可将数据从低维空间映射到高维空间,使数据在高维空间线性可分,之后在优化时需要计算内积,复杂度很高.这个时候就可以使用核函数,而核函数准确地说是一种 ...

SVM核函数RBF的参数

SVM核函数RBF的参数相关推荐

最新文章

热门文章