基于MATLAB的SVR回归模型的设计方案

湖南大学毕业设计(论文) 第 PAGE 33 页

第一章 绪 论

支持向量机(SVM)是根据统计学习理论提出的一种新的学习方法。其具有理论完备、适应性强、全局优化、训练时间短、泛化性能好等诸多优点，已经成为目前国内外研究的热点。本课题研究的SVR就是支持向量机在函数回归中的应用。

1.1课题的背景

基于支持向量的学习是现代智能技术中的重要方面，研究从观测数据(样本)出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测.包括模式识别、神经网络等在内，现有支持向量机器学习方法共同的重要理论基础之一是统计学.传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设.但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意.　　与传统统计学相比，统计学习理论(Statistical Learning Theory或SLT)是一种专门研究小样本情况下机器学习规律的理论.V. Vapnik等人从六、七十年代开始致力于此方面研究，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。　　统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架.它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题(比如神经网络结构选择问题、局部极小点问题等)；同时，在这一理论基础上发展了一种新的通用学习方法——支持向量机(Support Vector Machine或SVM)，它已初步表现出很多优于已有方法的性能。通过结果风险最小化准则和核函数方法，较好地解决了模式分类器复杂性核推广性之间的矛盾，引起了模式识别领域学者的极大关注。从此迅速的发展起来，现在已经在许多领域(生物信息学，文本分类、手写体识别、人脸检测等) 都取得了成功的应用，并且在研究过程中，取得了与传统方法可比或更好的结果，还丰富了自身的内容(如快速训练算法等)，从而更加推动了它在其他模式识别领域的应用。由于其出色的学习性能，该技术已成为当前国际机器学习界的研究热点，在模式识别、回归估计、函数逼近等领域有了广泛的应用。本课题就是研究它在回归估计中的应用。

1.2国内外研究状况及成果

支持向量机一经提出，就得到国内外学者的高度关注。虽然支持向量机发展时间很短，但是由于它的产生是基于统计学习理论的，因此具有坚实的理论基础。近几年涌现出的大量令人瞩目的理论研究成果，更为其应用研究奠定了坚实基础。如Anthony et al.(1999)等人给出了关于硬邻域支持向量机学习误差的严格理论界限，Shawe-Taylor(2000)和Cristianini (2000)也给出了类似的关于软邻域支持向量机和回归情况下的误差界限；Weston et al.(1998)和Vapnik(1995，1998)等研究了支持向量机的泛化性能及其在多值分类和回归问题的扩展问题；Smola(1998)和Schoelkopf(1999)提出了支持向量机一般意义下的损失函数数学描述；脊回归是由Tikhonov 提出的一种具有特殊形式的正则化网络，Girosi(1990)、Poggio(1975)等将其应用到正则化网络的学习中， Smola et al.(1999)研究了状态空间中脊回归的应用，Girosi(1990)、Smola(1998)、Schoelkopf(1999)等讨论了正则化网络和支持向量机的关系。随着支持向量机理论上深入研究，出现了许多变种支持向量机，如Smolaetal.(1999)提出的用于分类和回归支持向量机。另外，一些学者还扩展了支持向量机概念，如Mangasarian(1997)等人的通用支持向量机(GeneralisedSVMs)。

虽然SVM 方法在理论上具有很突出的优势, 但与其理论研究相比,应用研究尚相对比较滞后, 到目前，SVM已用于数据分类、回归估计、函数逼近等领域.应用最为广泛的当属模式识别领域，在模式识别方面最突出的应用研究是贝尔实验室对美国邮政手写数字库进行的实验,这是一个可识别性较差的数据库, 人工识别平均错误率是2.5% , 用决策树方法识别错误率是16.2% , 两层神经网络中错误率最小的是5.9% , 专门针对该特定问题设计的五层神经网络错误率为5.0% (其中利用了大量先验知识) , 而用三种SVM 方法得到的错误率分别为4.0%、4.1% 和4.2% , 且其中直接采用了16×16的字符点阵作为SVM 的输入, 并没有进行专门的特征提取。说明了SVM方法较传统方法有明显的优势, 同时也得到了不同的SVM 方法可以得到性能相