参数c和gamma的作用

我们通过下图详解参数c的作用，首先我们以一个简单的线性分类器为例，上一个博客中我们知道影响分类器的主要因素是支持向量，即虚线上的样本，如下图可知：

但当正负样本的分布在如下情况时，需要引入核函数对数据进行高维度的映射，具体如下图：

实线为决策平面，虚线上的样本为支持向量。

参数c

上图中我们知道决策平面与支持向量之间有一个距离差，而在实际工程中，参数c正是影响了支持向量与决策平面之间的距离，具体效果为：

c越大，分类越严格，不能有错误

c越小，意味着有更大的错误容忍度

具体可以通过下图展示：

c越大分类结果越好相应的泛化能力降低，c越小，我们的决策边界更大一些，即在训练时容忍一些样本的误差，拿一些边界更宽的样本作为支持向量。

参数gamma

参数gamma主要是对低维的样本进行高度度映射，gamma值越大映射的维度越高，训练的结果越好，但是越容易引起过拟合，即泛化能力低。具体效果如下图表示：

当gamma较大时，决策平面如一个梅花，分类的效果好，但是模型的鲁棒性不一定高。

因此我们需要合理的选择c和gamma的值，使得在训练结果准确的同时，测试结果同样相对高，即鲁棒性能力强。
总结

在实际工程应用中，我们需要不断的调整gamma和c的值，并对数据不断地进行交叉验证，使得模型的预测结果更高。此时对应的训练结果w和b作为svm最终的训练结果。

本文参考：《【机器学习】图解SVM中gamma和c参数的作用》

机器学习——图解SVM中gamma和c参数的作用相关推荐

利用进化算法+多进程/多线程来优化SVM中的两个参数：C和Gamma
该案例展示了如何利用进化算法+多进程/多线程来优化SVM中的两个参数:C和Gamma. 在执行本案例前,需要确保正确安装sklearn,以保证SVM部分的代码能够正常执行. 本函数需要用到一个外部数据 ...
【机器学习】SVM中对函数间隔和几何间隔的理解
超平面表达式: 函数间隔 : 对于在超平面上的点, w x + b = 0 wx+b=0 wx+b=0 恒成立.而超平面之外的点,可以认为距离越远, w x + b wx+b wx+b 的绝对值越大, ...
转测试linux中expect的timeout参数的作用
http://blog.csdn.net/msdnchina/article/details/50638818 转载于:https://www.cnblogs.com/feiyun8616/p/778 ...
【机器学习】SVM理论与python实践系列
理论部分: <机器学习--支持向量机SVM之线性模型> <机器学习--支持向量机SVM之非线性模型低维到高维映射> <机器学习--支持向量机SVM之非线性模型原问题与对偶 ...
系统学习机器学习之SVM(三)--Liblinear,LibSVM使用整理，总结
1.Libsvm与Liblinear区别,简单源码剖析. http://blog.csdn.net/zhzhl202/article/details/7438160 http://blog.csdn. ...
sklearn.svm中LinearSVR（svm线性回归）、LinearSVC(svm线性分类)与SVC(svm分类)、SVR（svm回归）之间的区别
区别: LinearSVC: SVM线性分类器:用来实现线性的分类任务 """鸢尾花数据集,执行一个分类问题"""import numpy ...
机器学习——SVM之交叉验证对参数（C，gamma）进行优化以及选择
目录一.(C,gamma)简介二.交叉验证 1.什么是交叉验证? 2.参数优化方法 3.python实现交叉验证cross_val_score(网格搜索算法GridSearchCV) 1)关键代码 ...
AI：人工智能领域之AI基础概念术语之机器学习、深度学习、数据挖掘中常见关键词、参数等5000多个单词中英文对照(绝对干货)
AI:人工智能领域之AI基础概念术语之机器学习.深度学习.数据挖掘中常见关键词.参数等5000多个单词中英文对照(绝对干货) 导读本博主基本收集了网上所有有关于ML.DL的中文解释词汇,机 ...
机器学习算法实践-SVM中的SMO算法
前言前两篇关于SVM的文章分别总结了SVM基本原理和核函数以及软间隔原理,本文我们就针对前面推导出的SVM对偶问题的一种高效的优化方法-序列最小优化算法(Sequential Minimal Opt ...

机器学习——图解SVM中gamma和c参数的作用

参数c和gamma的作用

参数c

参数gamma

机器学习——图解SVM中gamma和c参数的作用相关推荐

最新文章

热门文章