机器学习算法——支持向量机SVM7（支持向量回归）

给定训练样本 $D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\},y_i \in R$ ,希望学得一个形如 $f(x)=w^Tx+b$ 的回归模型，使得f(x)与y尽可能接近。

对样本（x,y），传统回归模型通常直接基于模型输出f(x)与真实输出之间的差别来计算损失，当且仅当f(x)与y完全相同时，损失才为零。

支持向量回归（Support Vector Regression, SVR）与此不同,假设f(x)与y之间最多有 $\epsilon$ 的偏差。即仅当f(x)与y之间的差别绝对值大于 $\epsilon$ 时才计算损失。这就相当于以f(x)为中心，构建了一个宽为 $2\epsilon$ 的间隔带，若训练样本落在此间隔带中，则认为被预测正确。如下图所示。

所以，SVR问题可形式化为：

$\underset{w,b}{min} \frac{1}{2} ||w||^2+C\sum_{i=1}^{m} \iota_i (f(x_i)-y_i)$

其中C为常数， $\iota_\epsilon$ 是下图所示的 $\epsilon$ -不敏感损失函数。

$\iota_\epsilon (z) = \left\{\begin{matrix} 0, if |z|<\epsilon \\ \\ |z|-\epsilon, otherwise \end{matrix}\right.$

由于间隔带两侧的松弛程度可有所不同，所以引入松弛变量 $\xi_i$ 和 $\hat{\xi_i}$ ，将上述式子写为：

$\underset{w,b,\xi_i,\hat{xi_i}}{min} \frac{1}{2}||w||^2+C\sum_{i=1}^{m}(\xi_i+\hat{\xi_i})\\ \\ s.t. f(x_i)-y_i \leqslant \epsilon + \xi_i\\ \\ y_i-f(x_i) \leqslant \epsilon + \hat{\xi_i}\\ \\ \xi_i \geqslant 0, \hat{\xi_i} \geqslant 0, i=1,2,...,m$

引入拉格朗日乘子，得出以下式子：

$L(w,b,\alpha, \hat{\alpha}, \xi,\hat{\xi},\mu, \hat{\mu}) = \frac{1}{2} ||w||^2+C \sum_{i=1}^{m} (\xi_i+\hat{\xi_i}) + \sum_{i=1}^{m} \alpha_i(f(x_i)-y_i-\epsilon -\xi_i) + \sum_{i=1}^{m} \hat{\alpha_i}(f(x_i)-y_i-\epsilon -\xi_i) -\sum_{i=1}^{m}\mu_i \xi_i - \sum_{i=1}^{m} \hat{\mu_i} \hat{\xi_i}$

令L对其w,b, $\xi_i$ 和 $\hat{\xi_i}$ 求偏导等于零可知

$w=\sum_{i=1}^{m} (\hat{\alpha_i}-\alpha_i)x_i\\ \\ 0=\sum_{i=1}^{m} (\hat{\alpha_i}-\alpha_i)\\ \\ C=\alpha_i+\mu_i\\ \\ C=\hat{\alpha_i} +\hat{\mu_i }$

带回到拉格朗日函数中，即得到SVR的对偶问题

$\underset{\alpha_i,\hat{\alpha_i}}{max} \sum_{i=1}^{m} y_i(\hat{\alpha_i}-\alpha_i) - \epsilon (\hat{\alpha_i}+\alpha_i) -\frac{1}{2} \sum_{i=1}^{m} \sum_{j=1}^{m} (\hat{\alpha_i}-\alpha_i)(\hat{\alpha_j}-\alpha_j)x_i^Tx_j\\ \\ s.t. \sum_{i=1}^{m} ((\hat{\alpha_i}-\alpha_i) =0\\ \\ 0\leqslant \alpha_i, \hat{\alpha_i} \leqslant C$

满足KTT条件，即

$\left\{\begin{matrix} \alpha_i(f(x_i)-y_i-\epsilon -\xi_i) =0\\ \hat{\alpha_i}(y_i-f(x_i)-\epsilon -\hat{\xi_i})=0\\ \alpha_i \hat{\alpha_i} =0, \xi_i \hat{\xi_i}=0\\ (C-\alpha_i)\xi_i=0, (C-\hat{\alpha_i})\hat{\xi_i}=0 \end{matrix}\right.$

可以看出，当且仅当 $f(x_i)-y_i-\epsilon -\xi_i=0$ 时， $\alpha_i$ 能取非零值。当且仅当 $y_i-f(x_i)-\epsilon -\hat{\xi_i}=0$ 时， $\hat{\alpha_i}$ 取非零值。即当样本 $(x_i,y_i)$ 不落入 $\epsilon$ 间隔带中， $\alpha_i$ 和 $\hat{\alpha_i}$ 才能取非零值。此外，约束 $f(x_i)-y_i-\epsilon -\xi_i=0$ 和 $y_i-f(x_i)-\epsilon -\hat{\xi_i}=0$ 不能同时成立，因此 $\alpha_i$ 和 $\hat{\alpha_i}$ 中至少有一个为零。

SVR的解形如

$f(x)=\sum_{i=1}^{m} (\hat{\alpha_i-\alpha_i})x_i^Tx+b$

能使 $(\hat{\alpha_i}-\alpha_i) \neq 0$ 的样本即为SVR的支持向量，他们必落在间隔带外。

若考虑特征映射形式，则相应的 $w=\sum_{i=1}^{m} (\hat{\alpha_i-\alpha_i})\phi (x_i)$

则SVR可表示为

$f(x) = \sum_{i=1}^{m} (\hat{\alpha_i}-\alpha_i )\kappa(x,x_i)+b$

其中， $\kappa (x_i,x_j)=\phi(x_i)^T\phi(x_j)$ 为核函数。

机器学习算法——支持向量机SVM7（支持向量回归）相关推荐

支持向量机与支持向量回归（support vector machine and support vector regression）
支持向量机和支持向量回归是目前机器学习领域用得较多的方法,不管是人脸识别,字符识别,行为识别,姿态识别等,都可以看到它们的影子.在我的工作中,经常用到支持向量机和支持向量回归,然而,作为基本的理论,却 ...
【机器学习系列】之支持向量回归SVR
作者:張張張張 github地址:https://github.com/zhanghekai [转载请注明出处,谢谢!] [机器学习系列]之SVM硬间隔和软间隔 [机器学习系列]之SVM核函数和SMO ...
支持向量机（SVM）、支持向量回归（SVR）
论文完成也有一段时间了,用到了支持向量机(Support Vector Machine或SVM)方面的知识,感觉泛化能力比较好,一开始的时候,用了一些神经网络的模型,泛化能力都不是很满意,立即转到支持 ...
【视频】支持向量机SVM、支持向量回归SVR和R语言网格搜索超参数优化实例
最近我们被客户要求撰写关于SVM的研究报告,包括一些图形和统计输出. 什么是支持向量机 (SVM)? 我们将从简单的理解 SVM 开始. [视频]支持向量机SVM.支持向量回归SVR和R语言网格搜索超 ...
机器学习——支持向量回归(SVR)
机器学习--支持向量回归(SVR) educoder平台练习题如果博客中图片加载失败可点击链接跳转至实训详情 https://www.educoder.net/shixuns/b6yi97f2/ch ...
支持向量机 (三)：优化方法与支持向量回归
拉格朗日乘子法 - KKT条件 - 对偶问题支持向量机 (一): 线性可分类 svm 支持向量机 (二): 软间隔 svm 与核函数支持向量机 (三): 优化方法与支持向量回归优化方法一.S ...
【机器学习】支持向量回归
有任何的书写错误.排版错误.概念错误等,希望大家包含指正. 在阅读本篇之前建议先学习: [机器学习]支持向量机[上]硬间隔 [机器学习]支持向量机[下]软间隔与核函数支持向量回归支持向量回归(su ...
python支持向量机回归_支持向量机——核函数与支持向量回归（附Python代码）
上期跟大家介绍了支持向量机的一般原理,今天继续跟大家聊聊支持向量机--核函数与支持项链回归. 1 核函数数据通过某种变换,使原本二维的问题通过某种函数转换到高维的特征空间,而这个函数就称为核函数.核 ...
【机器学习基础】支持向量回归
引言这一小节介绍一下支持向量回归,我们在之前介绍的核逻辑回归使用表示定理(Representer Theorem),将逻辑回归编程Kernel的形式,这一节我们沿着这个思路出发,看看如何将回归问题和 ...
python 最小二乘回归高斯核_机器学习技法6-（支持向量回归）
一.核岭回归线性分类模型加入了L2正则化以后,最佳解是w关于z的线性组合,因此带有L2正则化的线性分类模型能引入核函数,也就是把线性模型变成核函数的形式. 在线性回归模型中,损失函数为: 当给线性回 ...

机器学习算法——支持向量机SVM7（支持向量回归）

机器学习算法——支持向量机SVM7（支持向量回归）相关推荐

最新文章

热门文章