【转】支持向量机回归模型SVR
原博文地址
目录
- SVM回归模型的损失函数度量
- SVM回归模型的目标函数的原始形式
- SVM回归模型的目标函数的对偶形式
- SVM 算法小结
一、SVM回归模型的损失函数度量
SVM和决策树一样，可以将模型直接应用到回归问题中；在SVM的分类模型(SVC)中，目标函数和限制条件如下
在SVR中，目的是为了尽量拟合一个线性模型y=wx+b；
我们可以定义常量eps>0，对于任意一点(x,y)，如果|y-wx-b|≤eps，那么认为没有损失，
从而我们可以得到目标函数和限制条件如下：
二、SVM回归模型的目标函数的原始形式
加入松弛因子ξ>0，从而我们的目标函数和限制条件变成：
构造拉格朗日函数：
三、SVM回归模型的目标函数的对偶形式
拉格朗日函数对偶化：
首先来求优化函数对于w、b、ξ的极小值，通过求导可得：
将w、b、ξ的值带入函数L中，就可以将L转换为只包含β的函数，从而我们可以得到最终的优化目标函数为(备注：对于β的求解照样可以使用SMO算法来求解)：
四、SVM 算法小结
SVM算法是一个很优秀的算法，在集成学习和神经网络之类的算法没有表现出优越性能前，SVM基本占据了分类模型的统治地位。目前则是在大数据时代的大样本背景下,SVM由于其在大样本时超级大的计算量，热度有所下降，但是仍然是一个常用的机器学习算法。
SVM算法的主要优点：
1) 解决高维特征的分类问题和回归问题很有效,在特征维度大于样本数时依然有很好的效果。
2) 仅仅使用一部分支持向量来做超平面的决策，无需依赖全部数据。
3) 有大量的核函数可以使用，从而可以很灵活的来解决各种非线性的分类回归问题。
4)样本量不是海量数据的时候，分类准确率高，泛化能力强。
SVM算法的主要缺点：
1) 如果特征维度远远大于样本数，则SVM表现一般。
2) SVM在样本量非常大，核函数映射维度非常高时，计算量过大，不太适合使用。
3）非线性问题的核函数的选择没有通用标准，难以选择一个合适的核函数。
4）SVM对缺失数据敏感。
【转】支持向量机回归模型SVR相关推荐
- Python实现ABC人工蜂群优化算法优化支持向量机回归模型(SVR算法)项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取. 1.项目背景 人工蜂群算法(Artificial Bee Colony, AB ...
- Python实现GWO智能灰狼优化算法优化支持向量机回归模型(svr算法)项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取. 1.项目背景 灰狼优化算法(GWO),由澳大利亚格里菲斯大学学者 Mirjal ...
- Python实现ACO蚁群优化算法优化支持向量机回归模型(SVR算法)项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取. 1.项目背景 蚁群优化算法(Ant Colony Optimization, ...
- Python实现BOA蝴蝶优化算法优化支持向量机回归模型(SVR算法)项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取. 1.项目背景 蝴蝶优化算法(butterfly optimization al ...
- Python实现ALO蚁狮优化算法优化支持向量机回归模型(SVR算法)项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取. 1.项目背景 蚁狮优化(Ant Lion Optimizer,ALO)算法是M ...
- Python实现SSA智能麻雀搜索算法优化支持向量机回归模型(SVR算法)项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取. 1.项目背景 麻雀搜索算法(Sparrow Search Algorithm, ...
- Python实现猎人猎物优化算法(HPO)优化支持向量机回归模型(SVR算法)项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取. 1.项目背景 猎人猎物优化搜索算法(Hunter–prey optimizer ...
- Python实现PSO粒子群优化支持向量机回归模型(svr算法)项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取. 1.项目背景 在污水处理全过程中,为了更好地使解决后的水达到环保标准,在污水处 ...
- Python实现贝叶斯优化器(Bayes_opt)优化支持向量机回归模型(SVR算法)项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取. 1.项目背景 贝叶斯优化器 (BayesianOptimization) 是一 ...
- Python实现WOA智能鲸鱼优化算法优化支持向量机回归模型(LinearSVR算法)项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取. 1.项目背景 鲸鱼优化算法 (whale optimization algor ...
最新文章
- RedHat Enterprise Linux 5下配置Apache+Mysql+Php
- 企业 SOA 设计(1)–ESB 设计
- FSD HOOK与SSDT HOOK恢复简单思路
- uwsgi模式_nginx+uwsgi 和nginx+gunicorn区别、如何部署
- 轮播图js怎么设置图片自适应大小
- 从零开始做一个SLG游戏（二）：用mesh实现简单的地形
- 学python最重要的是_Python学习，要选哪个版本？
- shell 将两行内容合并到同一行
- html文档图标恢复,恢复HTM HTML图标方法
- 如何优雅的统计代码耗时，快速知道你的程序慢在哪里！
- 大数据之-Hadoop环境搭建_安装hadoop---大数据之hadoop工作笔记0018
- java scriptengine e-_Java使用ScriptEngine(javax.script)
- kubernetes视频教程笔记 （24）-存储-PV和PVC
- Atitit.java线程池使用总结attilax 1.1. 动态更改线程数量 1 1.2. code 1 三、线程池的原理 其实线程池的原理很简单，类似于操作系统中的缓冲区的概念，它的流程如下
- 墨者学院 - IIS写权限漏洞分析溯源
- c++ 三点求外接圆圆心 3维实现
- 龙芯源码编译mysql_龙芯服务器安装总结
- TI达芬奇系列TMS320DM8168浮点DSP C674x + ARM Cortex-A8高性能视频处理器
- #9733;思维导图的30个问答
- 编程修养 - 来自网络整理