svr公式推导_ML-支持向量:SVM、SVC、SVR、SMO原理推导及实现
目录
1.导出目标
2拉格朗日转换
3对偶问题:
因为是希望得出L最小时的一些参数w,b,a,但是目前很难一起求得最佳参数,所以换个思路。因为:
所以能够容易的计算出拉格朗日乘子a约束时的最坏情况是:
但是m个a的值还是无法求出,而后面会得知,根据L对w,b的求导关系,w,b可以被a表示出来,所以关键变为求a。
根据对偶关系,极大值关系可以转为极小值关系,且转换后的问题会不大于原问题,在取得极值的时候才取等号,也就是:
这样问题变为,先把w,b求导关系代入求L极小值关系,最后再寻找a的问题,最后a的求解会通过SMO等思路求解,具体SMO放到最后讲解,因为太难了。
4求对偶问题
1)求L的极小值时的w,b,求导:
得出极小值需满足如上这些关系
2)代入L求导关系式,求关于a的极大值:
所以关键是对这个函数求极大值时的a,假设通过后面的SMO找到了,记为a*,那么显然得到了w的解析式:
5 求b
因为对于所有支持向量点(正例上支持向量点位于WTx+b = 1超平面上,反例WTx+b= -1)记作(xs,ys),均有:
根据KKT条件:ai>0时,yi(WTxi+b)-1=0:(必定:WTxi+b = 1 或WTxi+b= -1)即xi必须是支持向量点,而ai=0时:
也就是说对w无影响,因此上式中w还可以简化成只考虑支持向量点计算(实际上这就是SVM称为支持向量机的原因,因为模型真正起作用的,就只是这些支持向量点):
假设我们有S个支持向量(位于WTx+b = 1,WTx+b= -1超平面上的点集),则对应我们求出S个b∗,理论上这些b∗都可以作为最终的结果, 但是我们一般采用一种更健壮的办法,即求出所有支持向量所对应的b∗,然后将其平均值作为最后的结果:
6 得出模型
ai参数求出之后,如上所示,就相当于求出了w,b了。就可以得到模型,进行预测了:
def _f(self, i):
r = self.b
for j in range(self.m):
r += self.alpha[j] * self.Y[j] * self.kernel(self.X[i], self.X[j])
return r
6.1 f(x)的约束条件:
7 核函数
现实中可能有些不存在线性的可分超平面,但是可能映射到更高维度可能就可分了,有证明显示,如果原始空间维度有限,那么一定存在高维特征空间使样本可分。
这样对x的映射关系,可以直接用到上面推导的所有公式里:
原问题映射:
对偶形式映射:
这种映射我们并不知道具体是如何的,因此也不知如何去计算了,所以这里就设想出来核函数的概念了:
def kernel(self, x1, x2):
if self._kernel == 'linear':
return sum([x1[k] * x2[k] for k in range(self.n)])
elif self._kernel == 'poly':
return (sum([x1[k] * x2[k] for k in range(self.n)]) + 1) ** 2
return 0
假设出原来的这种内积映射,是等价于某个函数k(.,.)计算的结果。问题就变成了:
求解后模型为:
核函数性质
k是核函数,当且仅当’核矩阵’K总是半正定:
常见核函数列表:
另外核函数线性组合起来还是核函数(系数为正),k1,k1,r1>0,r2>0:k3=r1k1+r2k2 也是核函数
7.1 软间隔
讨论软间隔是因为像这种情况,严格分出来(线性不可分了已经,用核函数可以分)是个弯曲的,但实际上应该就是这下面这样一条斜线才是最好的模型表示:
因此办法是,允许在一些情况下出现错误,引入软间隔的概念,在这个软间隔内允许出错。也就是允许不满足约束:
对于不满足的点,我们会累记一个损失函数,再引入惩罚力度因子C,则可以重新定义优化目标:
7.2 松弛变量:
显然,这些损失是常数且>=0,因此引入松弛变量的概念替换原来的损害函数计算结果,重写简化:
上式进行拉格朗日变换:为什么这样:https://blog.csdn.net/jiang425776024/article/details/87607526
同样的求导,对偶和上面4一致,省略。最终得到如下对偶问题:
7.3 KKT约束
可见,与非软间隔的问题相比,仅仅是对约束ai多了一个上界约束,且约束就是
这个约束是有道理的:
a) 如果α=0,那么yi(wTxi+b)−1≥0,即样本在间隔边界上或者已经被正确分类。
b) 如果0
c) 如果α=C,说明这是一个可能比较异常的点,需要检查此时ξi
1)如果0≤ξi≤1,那么点被正确分类,但是却在超平面和自己类别的间隔边界之间
2)如果ξi=1,那么点在分离超平面上,无法被正确分类。
3)如果ξi>1,那么点在超平面的另一侧,也就是说,这个点不能被正常分类
实现代码,判断是否否后KKT条件,True符合,False不符合:
def _KKT(self, i):
y_g = self._g(i) * self.Y[i]
if self.alpha[i] == 0:#a=0:需要yif(xi)-1>=0
return y_g >= 1
elif 0 < self.alpha[i] < self.C: #0
return y_g == 1
else:
return y_g <= 1 #a>=C:异常点,需要0≤ξi≤1满足在区间内yif(xi)<=1
8 SMO求a
8.1对偶问题上,上面已知对偶形式:
8.2.SMO算法思想
在SMO算法中的思想是,每次选择一对变量(αi,αj)进行优化,其余m-2个固定看作是常量, 因为在SVM中,α并不是完全独立的,而是具有约束的:
因此一个只选一个ai,那么ai可以被其它表示。
假设我们选取的两个需要优化的参数为α1,α2, 剩下的α3,α4,…,αm则固定作为常数处理。将SVM优化问题进行展开就可以得到(把与α1,α2无关的项合并成常数项C):(省略了a3+a4+...+am=C,因为其对max函数无意义)
8.2.1更新方法
因为y1,y2只能是1/-1,因此a1,a2的关系被限制在盒子里的一条线段上(只能是a1-a2/a1+a2两种情况),所以两变量的优化问题实际上仅仅是一个变量的优化问题(一个能由另一个得出)。我们假设是对a2的优化问题,所以只存在2幅图的情况:
1)y1!=y2,则约束a1y1+a2y2=k:a1-a2=k,L,H为约束下a2的最小最大值,为下图
2)y1=y2:
if self.Y[i1] == self.Y[i2]:
L = max(0, self.alpha[i1] + self.alpha[i2] - self.C)
H = min(self.C, self.alpha[i1] + self.alpha[i2])
else:
L = max(0, self.alpha[i2] - self.alpha[i1])
H = min(self.C, self.C + self.alpha[i2] - self.alpha[i1])
def _E(self, i):
return self._f(i) - self.Y[i]
则最优化问题转为更新:
最终更新方式:
剪辑判断:
def _compare(self, _alpha, L, H):
# 剪辑操作
if _alpha > H:
return H
elif _alpha < L:
return L
else:
return _alpha
a1,a2更新:
# 边界
if self.Y[i1] == self.Y[i2]:
L = max(0, self.alpha[i1] + self.alpha[i2] - self.C)
H = min(self.C, self.alpha[i1] + self.alpha[i2])
else:
L = max(0, self.alpha[i2] - self.alpha[i1])
H = min(self.C, self.C + self.alpha[i2] - self.alpha[i1])
E1 = self.E[i1]
E2 = self.E[i2]
eta = self.kernel(self.X[i1], self.X[i1]) + self.kernel(self.X[i2], self.X[i2]) - 2 * self.kernel(
self.X[i1], self.X[i2])
if eta <= 0:
# print('eta <= 0')
continue
alpha2_new_unc = self.alpha[i2] + self.Y[i2] * (E1 - E2) / eta
alpha2_new = self._compare(alpha2_new_unc, L, H)
alpha1_new = self.alpha[i1] + self.Y[i1] * self.Y[i2] * (self.alpha[i2] - alpha2_new)
self.alpha[i1] = alpha1_new
self.alpha[i2] = alpha2_new
8.2.2 推导过程
则:
求导:
代入关系式,添加新旧标记方便迭代更新:
得:
得出上面的更新方式。
8.2.3选两点a1,a2的方法
SMO每个子问题选择两个变量优化,其中至少一个变量是违法KKT条件的。
第1个变量a1的选择
SMO称选择第一个变量的过程为外层循环,外层循环选取违反KKT条件最严重的样本点(xi,yi)对应的ai值作为第一个变量a1;检测是否满足KKT条件(7.3有具体介绍):
一般,外层循环先遍历所有满足0
第2个变量a2的选择
SMO算法称选择第二一个变量为内层循环,假设我们在外层循环已经找到了α1, 第二个变量α2的选择标准是让|E1−E2|有足够大的变化。8.2.1定义了E(预测值与真实值之差)。由于α1定了的时候,E1也确定了,所以要想|E1−E2|最大,只需要在E1为正时,选择最小的Ei作为E2,在E1为负时,选择最大的Ei作为E2,可以将所有的Ei保存为列表,加快迭代。
如果内存循环找到的点不能让目标函数有足够的下降,可以采用遍历支持向量点来做α2,直到目标函数有足够的下降, 如果所有的支持向量做α2都不能让目标函数有足够的下降,可以跳出循环,重新选择α1。
def _init_alpha(self):
# 外层循环首先遍历所有满足0
svr公式推导_ML-支持向量:SVM、SVC、SVR、SMO原理推导及实现相关推荐
- svr公式推导_支持向量回归(SVR)的详细介绍以及推导算法
1 SVR背景 2 SVR原理 3 SVR数学模型 SVR的背景 SVR做为SVM的分支从而被提出,一张图介绍SVR与SVM的关系 这里两虚线之间的几何间隔r=d ∣ ∣ W ∣ ∣ \frac{d} ...
- ML-支持向量:SVM、SVC、SVR、SMO原理推导及实现
目录 1.导出目标 2拉格朗日转换 3对偶问题: 4求对偶问题 5 求b 6 得出模型 6.1 f(x)的约束条件: 7 核函数 7.1 软间隔 7.2 松弛变量: 7.3 KKT约束 8 SMO求a ...
- 机器学习之支持向量回归(SVR)预测房价—基于python
大家好,我是带我去滑雪! 本期使用爬取到的有关房价数据集data.csv,使用支持向量回归(SVR)方法预测房价.该数据集中"y1"为响应变量,为房屋总价,而x1-x9为特征变量, ...
- 采用支持向量回归(SVR)和随机森林回归预测两种机器学习方法对房价进行预测(附完整代码)
大家好,我是带我去滑雪,每天教你一个小技巧! 本文分别采用支持向量回归(SVR)和随机森林回归预测两种机器学习方法对房价进行预测.随机将数据分为训练集和测试集,比例为8:2,数据和代码均在文末. 1. ...
- 基于支持向量回归(SVR)和PROSAIL模拟光谱数据的叶面积指数反演
前言 本博客利用PROSAIL模型模拟出MODIS的光谱数据和LAI,然后采用支持向量回归(SVR)方法建立NDVI与LAI 的回归模型,用于LAI的反演.训练和测试数据的拟合效果还是比较好的,这表明 ...
- 支持向量机(SVM)、支持向量回归(SVR)
论文完成也有一段时间了,用到了支持向量机(Support Vector Machine或SVM)方面的知识,感觉泛化能力比较好,一开始的时候,用了一些神经网络的模型,泛化能力都不是很满意,立即转到支持 ...
- 支持向量回归代码_RDKit:基于支持向量回归(SVR)预测logP
RDKit一个用于化学信息学的python库.使用支持向量回归(SVR)来预测logP. 分子的输入结构特征是摩根指纹,输出是logP. 代码示例: #导入依赖库 import numpy as np ...
- 支持向量回归模型SVR
1. SVM回归模型的损失函数度量 回顾下我们前面SVM分类模型中,我们的目标函数是让12||w||2212||w||22最小,同时让各个训练集中的点尽量远离自己类别一边的的支持向量,即yi(w∙ϕ( ...
- SVM有监督学习LinearSVC, LinearSVR,SVC,SVR -- 024
微信公众号:python宝 关注可了解更多的python相关知识.若有问题或建议,请公众号留言; 内容目录 一.支持向量机 SVM 简介二.LinearSVC, LinearSVR,SVC,SVR参数 ...
最新文章
- 帧率配置_《骑马与砍杀2》配置探究:CPU显卡怎么搭配达到理想画质和帧数?...
- go导入私有仓库中的包配置方法
- 前端js自动填写 点击_爬虫自动填写学生健康打卡表
- 线程池状态和使用注意点
- SasSHRM中基于shiro的认证授权:需求分析
- Intellij IDEA 社区版集成 Database Navigator 数据库管理工具
- 使用 header函数实现文件下载
- git学习笔记-(13-reset三部曲)
- java tcp连接硬件_SocketTool工具(模拟开发板)和基于socket的java服务器(TCP/IP协议)开发...
- 基于 attention 机制的 LSTM 神经网络 超短期负荷预测方法学习记录
- VS下更新Qt语言家ts文件没反应
- Android app 页面加载统计工具
- 豆瓣电影详情数据爬取
- 无聊的时候氵一些小套路
- 区块链Baas平台强势来袭,助力企业快速搭建区块链落地项目
- BZOJ 1924 [Sdoi2010]所驼门王的宝藏 tarjan缩点+拓扑DP
- 《Adobe Illustrator CS6中文版经典教程(彩色版)》目录—导读
- 百度地图 JS API Marker自定义图标
- 50道JAVA基础算法编程题【内含分析、程序答案】【建议收藏】【建议收藏】【建议收藏】
- 计算机网络4—传输层
热门文章
- 高级IO(文件的读写)——阻塞式IO的困境、非阻塞式IO
- PHP json_encode后的数据有的大括号于中括号
- Oracle 控制文件管理
- [转载] 杜拉拉升职记——39 充满变数的时期
- 仿WINDWS无限级Ajax菜单树升级1.3版(修补了严重BUG)
- WinForm与脚本的交互
- 给vmware虚拟机中的ubuntu 14.04扩大磁盘分区
- unix dos mac 文件格式不同导致问题
- 计算机指令称,通俗解释什么叫计算机指令?
- android include 点击事件,Android编程之include文件的使用方法