最小二乘支持向量机(LSSVM)详解
最小二乘支持向量机(LSSVM)详解
第四十六次写博客,本人数学基础不是太好,如果有幸能得到读者指正,感激不尽,希望能借此机会向大家学习。在《Feature Selection详解(附带Relief、Relief-F、LVM详解)(一)》一文中曾对支持向量机(SVM)以及支持向量回归(SVR)进行了详细的介绍,在给出二次规划问题后,需要使用SMO算法对目标进行优化,由于SMO算法运行过程中需要对原数据进行循环扫描,来查找满足条件的样本点,因此该算法的时间复杂度是非常高的,本文介绍一种解决该问题的SVM算法变体——最小二乘支持向量机(LSSVM)。
LSSVM的特性
1) 同样是对原始对偶问题进行求解,但是通过求解一个线性方程组(优化目标中的线性约束导致的)来代替SVM中的QP问题(简化求解过程),对于高维输入空间中的分类以及回归任务同样适用;
2) 实质上是求解线性矩阵方程的过程,与高斯过程(Gaussian processes),正则化网络(regularization networks)和费雪判别分析(Fisher discriminant analysis)的核版本相结合;
3) 使用了稀疏近似(用来克服使用该算法时的弊端)与稳健回归(稳健统计);
4) 使用了贝叶斯推断(Bayesian inference);
5) 可以拓展到非监督学习中:核主成分分析(kernel PCA)或密度聚类;
6) 可以拓展到递归神经网络中。
LSSVM用于分类任务
1) 优化目标
2) 拉格朗日乘子法
其中αi\alpha_iαi是拉格朗日乘子,也是支持值(support values)
3) 求解最优化条件
4) 求解对偶问题(与SVM同样不对www和eee做任何计算)
LLSVM通过求解上述线性方程组,得到优化变量aaa和bbb的值,这种求解方式比求解QP问题更加简便
5) 与标准SVM的区别
a. 使用等式约束,而不是不等式约束;
b. 由于对每个样本点采用了等式约束,因此对松弛向量不施加任何约束,这也是LSSVM丢失稀疏性的重要原因;
c. 通过解决等式约束以及最小二乘问题,使得问题得到进一步简化。
LSSVM用于回归任务
1) 问题描述
2) 优化目标
3) 求解对偶问题(与SVM同样不对www和eee做任何计算)
LLSVM通过求解上述线性方程组,得到优化变量aaa和bbb的值,这种求解方式比求解QP问题更加简便
LSSVM的弊端
注意到解决分类任务时,在求解最优化过程中得到αi=γei\alpha_{i}=\gamma{e_{i}}αi=γei,由于拉格朗日乘子法中对应于等式约束的拉格朗日乘子αi≠0\alpha_{i}\neq{0}αi̸=0,因此全部训练样本都会被作为支持向量来看待,这就会导致其丧失SVM原有的稀疏性质,但是还可以通过对训练集进行基于支持度的“减枝”(pruning)处理来达到稀疏化的目的,这一步也可以看做是一种稀疏近似(sparse approximate)操作。
参考资料
【1】 Suykens, Johan A. K. , and J. Vandewalle . “Least Squares Support Vector Machine Classifiers.” Neural Processing Letters 9.3(1999):293-300.
最小二乘支持向量机(LSSVM)详解相关推荐
- 【LSSVM回归预测】基于matlab人工蜂群算法优化最小二乘支持向量机LSSVM数据回归预测【含Matlab源码 2213期】
⛄一.人工蜂群算法优化最小二乘支持向量机LSSVM简介 1 最小二乘支持向量机 最小二乘支持向量机是支持向量机的一种改进算法[9,10],它将SVM算法中的不等式约束转化为等式约束,采用最小二乘线性系 ...
- 【LSSVM回归预测】人工蜂群算法优化最小二乘支持向量机LSSVM数据回归预测【含Matlab源码 2213期】
⛄一.人工蜂群算法优化最小二乘支持向量机LSSVM简介 1 最小二乘支持向量机 最小二乘支持向量机是支持向量机的一种改进算法[9,10],它将SVM算法中的不等式约束转化为等式约束,采用最小二乘线性系 ...
- SVM -支持向量机原理详解与实践之五
SVM -支持向量机原理详解与实践之四 SVM原理分析 SMO算法分析 SMO即Sequential minmal optimization, 是最快的二次规划的优化算法,特使对线性SVM和稀疏数据性 ...
- 数学建模——支持向量机模型详解Python代码
数学建模--支持向量机模型详解Python代码 from numpy import * import random import matplotlib.pyplot as plt import num ...
- 偏最小二乘回归分析原理详解和案例分析实例
偏最小二乘回归分析原理详解 背景 偏最小二乘回归分析 Partial least squares regression analysis 基本思想 建模步骤 步骤一:分别提取两变量组的第一对成分,并使 ...
- 【回归预测-lssvm分类】基于最小二乘支持向量机lssvm实现数据分类代码
1 内容介绍 在信息爆炸的新时代,由于全球科技与经济迅猛发展,数据充斥在各行各业,数据的结构也变得多样化.其中对于数据的分类最常见,伴随着数据分类的同时出现两大处理难点,一个是非均衡问题,另一个就是高 ...
- 【lssvm预测】基于天鹰算法优化最小二乘支持向量机lssvm实现数据回归预测附matlab代码
1 简介 短时交通流预测是实现智能交通控制与管理,交通流状态辨识和实时交通流诱导的前提及关键,也是智能化交通管理的客观需要.到目前为止,它的研究结果都不尽如人意.现有的以精确数学模型为基础的传统预测方 ...
- 递归最小二乘(RLS)算法详解
本文首发在我的个人博客:宅到没朋友,欢迎大家来玩! 代码下载链接在最下方! 1.最小二乘算法简介 最小二乘算法基于确定性思想,该算法讨论怎样根据有限个观测数据来寻找滤波器的最优解,即求如下图这样具有M ...
- 【lssvm预测模型】基于蝙蝠算法改进的最小二乘支持向量机lssvm预测
1 简介 为了提高短期电力负荷预测结果的准确性,该文提出了蝙蝠算法优化最小二乘支持向量机(BA-LSSVM)的方法.该方法利用蝙蝠算法对最小二乘支持向量机的核函数参数进行优化,并用优化后的参数建立短期 ...
- 【lssvm预测】基于花朵授粉算法优化最小二乘支持向量机lssvm实现预测附matlab代码
1 简介 短时交通流预测是实现智能交通控制与管理,交通流状态辨识和实时交通流诱导的前提及关键,也是智能化交通管理的客观需要.到目前为止,它的研究结果都不尽如人意.现有的以精确数学模型为基础的传统预测方 ...
最新文章
- c#调用Matlab的参数传递
- excel流程图分叉 合并_Excel和Visio联姻,自动生成跨职能流程图,还能用图标标记状态,太牛了!...
- Java中多线程并发处理方式
- 商务英语老师给的6个建议
- C语言-结构体内存对齐
- BugkuCTF-MISC题好多数值
- hadoop3.1.2版本中FsImage与Editslog合并解析
- 【Python爬虫】Scrapy爬虫框架
- 8种提升ASP.NET Web API性能的方法
- Linux的errno
- js 创建多行字符串
- 基于 IPO 经济理论模型对目前 ICO 的理论研究和分析
- Eclipse中去掉代码中的警告Warn
- 2018美团实习生招聘——K的倍数
- 做前端网页需要用网页框架吗
- 纳米机器人最新进展(2021年)
- 一个免费全格式MP3音乐播放器的工具
- 华为ENSP实验--基础
- Python实现抓取访问特定URL的数据包
- HAC集群修改管理员用户密码
热门文章
- 搭建物联网服务器测试环境
- LaTeX数学公式-详细教程
- ev3编程 越野机器人_【EV3基础编程 第四课】机器人编程的基础,先要学这些(下)...
- 运维安全·Web组件安全·Nginx
- Pure Pursuit轨迹跟踪matlab程序
- flashfxp v3.3.4(build1109)的密钥
- Spring开发指南0.8版(By夏昕)
- 无纸化会议系统连接服务器失败,无纸化会议系统使用注意事项及注册/更新流程...
- 无纸化办公模式如何取代传统办公模式
- 7.8 W 字总结!Java 8—Java 10 特性详解