1 SVR背景

2 SVR原理

3 SVR数学模型

SVR的背景
SVR做为SVM的分支从而被提出，一张图介绍SVR与SVM的关系

这里两虚线之间的几何间隔r=d∣∣W∣∣\frac{d}{||W||}∣∣W∣∣d,这里的d就为两虚线之间的函数间隔。
（一图读懂函数间隔与几何间隔）

这里的r就是根据两平行线之间的距离公式求解出来的
SVR的原理

SVR与一般线性回归的区别

SVR	一般线性回归
1.数据在间隔带内则不计算损失，当且仅当f(x)与y之间的差距的绝对值大于ϵ\epsilonϵ才计算损失	1.只要f(x)与y不相等时，就计算损失
2.通过最大化间隔带的宽度与最小化总损失来优化模型	2.通过梯度下降之后求均值来优化模型

原理：SVR在线性函数两侧制造了一个“间隔带”，间距为ϵ\epsilonϵ(也叫容忍偏差，是一个由人工设定的经验值)，对所有落入到间隔带内的样本不计算损失，也就是只有支持向量才会对其函数模型产生影响，最后通过最小化总损失和最大化间隔来得出优化后的模型。

注：这里介绍一下支持向量的含义：直观解释，支持向量就是对最终w,b的计算起到作用的样本（a>0）

如下图所示， "管道"内样本对应a=0，为非支持向量；
位于“管壁”上的为边界支持向量，0<a<ϵ\epsilonϵ
位于"管道"之外的为非边界支持向量，a>ϵ\epsilonϵ(异常检测时，常从非边界支持向量中挑选异常点)

SVR的数学模型

3.1线性硬间隔SVR

3.2线性软间隔SVR
原因：在现实任务中，往往很难直接确定合适的 ϵ\epsilonϵ ，确保大部分数据都能在间隔带内，而SVR希望所有训练数据都在间隔带内，所以加入松弛变量ξ\xiξ ，从而使函数的间隔要求变的放松，也就是允许一些样本可以不在间隔带内。

引入松弛变量后，这个时候，所有的样本数据都满足条件:

这就是映入松弛变量后的限制条件，所以也叫-------软间隔SVR

注：对于任意样本xi,如果它在隔离带里面或者边缘上，ξ\xiξ 都为0；在隔离带上方则为ξ>0,ξ∗=0\xi>0,\xi^*=0ξ>0,ξ∗=0
在隔离带下方则为ξ∗>0,ξ=0\xi^*>0,\xi=0ξ∗>0,ξ=0

参数推导：
拉格朗日乘子法（可将约束条件变成无约束的的等式方程）

设ui⩾0,ui∗⩾0,ai⩾0,ai∗⩾0u_i\geqslant0,u^*_i\geqslant0,a_i\geqslant0,a^*_i\geqslant0ui⩾0,ui∗⩾0,ai⩾0,ai∗⩾0为拉格朗日系数
构建拉格朗日函数：

3.3非线性（映射，核函数）

启发：提高维度，低维映射到高维（非线性变线性）

之前的SVR低维数据模型是以内积xi*xj的形式出现:

现定义一个低维到高维的映射Φ\varPhiΦ：来替代以前的内积形式:

表示映射到高维特征空间之后的内积

映射到高维的问题:
2维可以映射到5维
但当低维是1000映射到超级高的维度时计算机特征的内积
这个时候从低维到高维运算量会爆炸性增长

由于特征空间维数可能很高，甚至是无穷维，因为直接计算 Φ(xi)TΦ(xj)\varPhi(x_i)^T\varPhi(x_j)Φ(xi)TΦ(xj) 通常是困难的，这里就要设计到核函数

结果表明：核函数在低维计算的结果与映射到高维之后内积的结果是一样的

主要改变：非线性转化，主要通过改变内积空间替换成另外一个核函数空间而从而转化到另外一个线性空间

核函数的隆重出场：核函数是对向量内积空间的一个扩展，使得非线性回归的问题，在经过核函数的转换后可以变成一个近似线性回归的问题

实战案例

代更。。。。。。。

支持向量回归（SVR）的详细介绍以及推导算法相关推荐

[翻译] 支持向量回归SVR的介绍
X. Introduction 本文先翻译一下: http://www.saedsayad.com/support_vector_machine_reg.htm Support Vector Mach ...
❤️解决非线性回归问题的机器学习方法总结：多项式线性模型、广义线性(GAM)模型、回归树模型、支持向量回归(SVR)模型
文章目录前言多项式回归模型概念解释: sklearn实现多项式回归模型: 广义线性可加(GAM)模型概念解释: pygam实现广义线性可加模型: GAM模型的优点与不足: 回归树模型概念解释 ...
基于DDTBOX，使用线性支持向量回归(SVR)从ERP数据中解码连续变量
导读事件相关电位(ERP)数据的多变量分类分析是预测认知变量的强大工具.然而,分类通常仅限于分类变量,并未充分利用连续数据,如反应时间.反应力或主观评分.另一种方法是支持向量回归(SVR),它使用单 ...
使用最大离散重叠小波变换MODWT和支持向量回归 SVR的金融时间序列预测
本例使用的数据链接如下:https://www.histdata.com/download-free-forex-historical-data/?/ascii/tick-data-quotes/AU ...
【视频】支持向量机SVM、支持向量回归SVR和R语言网格搜索超参数优化实例
最近我们被客户要求撰写关于SVM的研究报告,包括一些图形和统计输出. 什么是支持向量机 (SVM)? 我们将从简单的理解 SVM 开始. [视频]支持向量机SVM.支持向量回归SVR和R语言网格搜索超 ...
机器学习西瓜书笔记：软间隔和支持向量回归SVR
1.首先由SVM问题(最大间隔超平面模型):所有样本都可以正确分类的最优化问题,引入软间隔SVM(允许分类错误)的最优化问题,即需要添加损失函数(样本不满足约束的程度,或者说分类错误的程度),然后最优 ...
机器学习——支持向量回归(SVR)
机器学习--支持向量回归(SVR) educoder平台练习题如果博客中图片加载失败可点击链接跳转至实训详情 https://www.educoder.net/shixuns/b6yi97f2/ch ...
【机器学习系列】之支持向量回归SVR
作者:張張張張 github地址:https://github.com/zhanghekai [转载请注明出处,谢谢!] [机器学习系列]之SVM硬间隔和软间隔 [机器学习系列]之SVM核函数和SMO ...
svr公式推导_支持向量回归（SVR）的详细介绍以及推导算法
1 SVR背景 2 SVR原理 3 SVR数学模型 SVR的背景 SVR做为SVM的分支从而被提出,一张图介绍SVR与SVM的关系这里两虚线之间的几何间隔r=d ∣ ∣ W ∣ ∣ \frac{d} ...
支持向量回归 svr
from sklearn import svm X = [[0, 0], [1, 1]] y = [0, 1]#建立支持向量分类模型 clf = svm.SVC()#拟合训练数据,得到训练模型参数 c ...

支持向量回归（SVR）的详细介绍以及推导算法

1 SVR背景

2 SVR原理

3 SVR数学模型

支持向量回归（SVR）的详细介绍以及推导算法相关推荐

最新文章

热门文章