Compu~r Engineering口 4 胁日ff0 计算机工程与应用

SVM分类核函数及参数选择比较

奉国和 FENG Guohe

华南师范大学 经济管理学院 信息管理系，广州 5 10006 School of Economy & Manangement，South Chma Normal University，Guangzhou 510006，China

E—mail：ghfeng@163．corn

FENG Guohe．Parameter optimizing for Support Vector M achines classifcation．Computer Engineering and Appfieations， 2011．47(3)：123．124．

Abstract：Support Vector Machine(SVM )has good performance for classification，but the perform ance is restricted by the kernel function and its parameters．This paper discusses the problem，and uses cross validation，grid searching for optimizing

the kernel function parameters． Key words：Support Vector Machines(SVM)；kemel function；classification

摘 要：支持向量机(SVM)被证实在分类领域性能良好，但其分类性能受到核函数及参数影响。讨论核函数及参数对SVM 类 性能的影响，并运用交叉验证与网格搜索法进行参数优化选择，为SVM分类核函数及参数选择提供借鉴。 关键词：支持向量机；核函数；分类 DOI：10．37788．issn．1002．8331．2011．03．037 文章编号：1002-8331(2011)03-0123-02 文献标识码：A 中图分类号：TP316

分类是数据挖掘的一项重要应用。分类方法很多，但研 究表明支持向量机(SVM)的分类性能，尤其是泛化能力好于 传统的分类方法 1。SVM基于结构风险最小化原理，求解化为

一 个线性约束的凸二次规划(Quadratic Programming，QP)问 题，解具有唯一性和全局最优性。SVM的分类性能受到诸多 因素影响，其中下面两个因素较为关键：(1)误差惩罚参数c， 对错分样本比例和算法复杂度折衷，即在确定的特征子空间 中调节学习机器置信范围和经验风险比例，使学习机器的推 广能力最好。其选取由具体的问题而定，并取决于数据中噪 声的数量。在确定的特征子空间中c的取值小表示对经验误 差的惩罚小，学习机器的复杂度小而经验风险值较大；c取无 穷大，则所有的约束条件都必须满足，这意味着训练样本必须 准确地分类。每个特征子空间至少存在一个合适 的c使得 SVM推广能力最好。当c超过一定值时，SVM的复杂度达到 了特征子空间允许的最大值，此时经验风险和推广能力几乎 不再变化。(2)核函数形式及其参数，不同核函数对分类性能有 影响，相同核函数不同参数也有影响。在多项式核函数中参数 是d，RBF核函数数是口，在Sigmoid核函数参数是 。如何选 择核函数及参数直接影响到SVM分类好坏，本文研究核函数 及参数对SVM分类性能影响，对于推广SVM应用有启示作用。

1 支持向量机原理 支持向量机是基于结构风险最小化原理(Structural Risk

Mininization，SRM)，为了控制泛化能力 ，需要控制两个因素 ， 即经验风险和置信范围值。传统的神经网络是基于经验风险 最小化原则，以训练误差最小化为优化 目标 ，而支持向量机以 训练误差作为优化问题的约束条件，以置信范围最小化为优 化目标。它最终化为解决—个线性约束的凸二次规划(QP)求解 问题，所以支持向量机的解具有唯一性，也是全局最优的 1。 应用核函数技术，将输入空间中的非线性问题，通过函数映射 到高维特征空间中，在高维空间中构造线性判别函数，常用的 核函数有如下三种。 (1)Polynomial核函数： ，xf)=[y ‘ )+coef] ，其中d 为多项式的阶，coef~偏置系数。 (2)RBF核函数：K(x，xi)=exp(一y lx一 ，其中y为核 函数的宽度。 (3)Sigmoid核函数(两层神经网络)：K(x， f)=tarda(7(x· f)+ coef)。

2 参数选取方法 SVM的参数选择问题，其实质就是一个优化问题。目前 SVM参数选取方法主要有：经验选择法、实验试凑法、梯度