最小二乘支持向量机（LSSVM）推导

2024-05-12 12:08:44

个人笔记，非教程

LSSVM和SVM的区别就在于，LSSVM把原方法的不等式约束变为等式约束，从而大大方便了Lagrange乘子alpha的求解，原问题是QP问题，而在LSSVM中则是一个解线性方程组的问题。

min⁡w,b,eJ(w,e)=12wTw+12γ∑i=1Nei2\min_{w,b,e}J(w,e)=\frac 12 w^Tw+\frac 12\gamma\sum_{i=1}^{N}e_i^2w,b,eminJ(w,e)=21wTw+21γi=1∑Nei2
s.t.yi(wTxi+b)=1−ei,i=1,...,Ns.t.\ \ \ \ y_i(w^Tx_i+b)=1-e_i,\ \ \ i=1,...,Ns.t. yi(wTxi+b)=1−ei, i=1,...,N

拉格朗日

L(w,b,e;α)=J(w,e)−∑i=1Nαi[yi(wTxi+b)−1+ei]L(w,b,e;\alpha)=J(w,e)-\sum_{i=1}^{N}\alpha_i[y_i(w^Tx_i+b)-1+e_i]L(w,b,e;α)=J(w,e)−i=1∑Nαi[yi(wTxi+b)−1+ei]

求导并令其为零

∂L∂w=0→w=∑i=1Nαiyixi∂L∂b=0→0=∑i=1Nαiyi∂L∂ei=0→αi=γek,k=1,...,N∂L∂ai=0→yi(wTxi+b)−1+ek=0,k=1,...,N\begin{aligned} \frac{\partial L}{\partial w}&=0\to w=\sum_{i=1}^{N}\alpha_iy_ix_i \\ \frac{\partial L}{\partial b}&=0\to 0=\sum_{i=1}^{N}\alpha_iy_i \\ \frac{\partial L}{\partial e_i}&=0\to \alpha_i=\gamma e_k, \ \ \ k=1,...,N \\ \frac{\partial L}{\partial a_i}&=0\to y_i(w^Tx_i+b)-1+e_k=0,\ \ \ k=1,...,N \end{aligned}∂w∂L∂b∂L∂ei∂L∂ai∂L=0→w=i=1∑Nαiyixi=0→0=i=1∑Nαiyi=0→αi=γek, k=1,...,N=0→yi(wTxi+b)−1+ek=0, k=1,...,N

转换为关于α\alphaα和bbb的线性方程组形式：

[0YTY(YYT)⨀(XXT)+γ−1I][bα]=[01]\begin{bmatrix} 0 & Y^T \\ Y & (YY^T)\bigodot (XX^T)+\gamma^{-1}I \\ \end{bmatrix} \begin{bmatrix} b \\ \alpha \\ \end{bmatrix} = \begin{bmatrix} 0 \\ \bold 1 \\ \end{bmatrix} [0YYT(YYT)⨀(XXT)+γ−1I][bα]=[01]
其中⨀\bigodot⨀规则为将矩阵对应位置的元素分别相乘，1\bold 11为一列1构成的向量

上面的矩阵大概长这个样子：

(YYT)⨀(XTX)+γ−1I(YY^T)\bigodot (X^TX)+\gamma^{-1}I(YYT)⨀(XTX)+γ−1I里的第iii行第jjj列元素为yiyjxiTxjy_iy_jx_i^Tx_jyiyjxiTxj

最小二乘支持向量机（LSSVM）推导相关推荐

【LSSVM回归预测】基于matlab人工蜂群算法优化最小二乘支持向量机LSSVM数据回归预测【含Matlab源码 2213期】
⛄一.人工蜂群算法优化最小二乘支持向量机LSSVM简介 1 最小二乘支持向量机最小二乘支持向量机是支持向量机的一种改进算法[9,10],它将SVM算法中的不等式约束转化为等式约束,采用最小二乘线性系 ...
【LSSVM回归预测】人工蜂群算法优化最小二乘支持向量机LSSVM数据回归预测【含Matlab源码 2213期】
⛄一.人工蜂群算法优化最小二乘支持向量机LSSVM简介 1 最小二乘支持向量机最小二乘支持向量机是支持向量机的一种改进算法[9,10],它将SVM算法中的不等式约束转化为等式约束,采用最小二乘线性系 ...
【回归预测-lssvm分类】基于最小二乘支持向量机lssvm实现数据分类代码
1 内容介绍在信息爆炸的新时代,由于全球科技与经济迅猛发展,数据充斥在各行各业,数据的结构也变得多样化.其中对于数据的分类最常见,伴随着数据分类的同时出现两大处理难点,一个是非均衡问题,另一个就是高 ...
【lssvm预测】基于天鹰算法优化最小二乘支持向量机lssvm实现数据回归预测附matlab代码
1 简介短时交通流预测是实现智能交通控制与管理,交通流状态辨识和实时交通流诱导的前提及关键,也是智能化交通管理的客观需要.到目前为止,它的研究结果都不尽如人意.现有的以精确数学模型为基础的传统预测方 ...
【lssvm预测模型】基于蝙蝠算法改进的最小二乘支持向量机lssvm预测
1 简介为了提高短期电力负荷预测结果的准确性,该文提出了蝙蝠算法优化最小二乘支持向量机(BA-LSSVM)的方法.该方法利用蝙蝠算法对最小二乘支持向量机的核函数参数进行优化,并用优化后的参数建立短期 ...
【lssvm预测】基于花朵授粉算法优化最小二乘支持向量机lssvm实现预测附matlab代码
1 简介短时交通流预测是实现智能交通控制与管理,交通流状态辨识和实时交通流诱导的前提及关键,也是智能化交通管理的客观需要.到目前为止,它的研究结果都不尽如人意.现有的以精确数学模型为基础的传统预测方 ...
【lssvm预测】基于飞蛾扑火算法改进的最小二乘支持向量机lssvm预测
LSSVM的特性 1) 同样是对原始对偶问题进行求解,但是通过求解一个线性方程组(优化目标中的线性约束导致的)来代替SVM中的QP问题(简化求解过程),对于高维输入空间中的分类以及回归任务同样适用 ...
最小二乘支持向量机LSSVM多输入多输出预测，最小二乘支持向量机LSSVM回归预测。
%% 清空环境变量 warning off % 关闭报警信息 close all % 关闭开启的图窗 clear % 清空变量 clc % 清空命令行 %% 导入数据 res = xlsread('数 ...
【回归预测-lssvm】基于粒子群算法优化最小二乘支持向量机lssvm实现数据回归预测附matlab代码
✅作者简介:热爱科研的Matlab仿真开发者,修心和技术同步精进,matlab项目合作可私信.
最小二乘支持向量机预测matlab实现,最小二乘支持向量机及其 Pre-computed Kernel 的 matlab 实现...
1. 最小二乘支持向量机的推导与支持向量机(Support Vector Machines, SVM)不同,Suykens 等提出的最小二乘支持向量机(Least Squared Support V ...

最新文章

热门文章