有监督回归：约束条件下的最小二乘法
1.前言
前面介绍的最小二乘学习法，是众多机器学习算法中极为重要的一种基础算法。但是，单纯的最小二乘法对于包含噪声的学习过程经常有过拟合的弱点。如下图所示：
这往往是由于学习模型对于训练样本而言过于复杂。因此，本篇博客将介绍能够控制模型复杂程度的、带有约束条件的最小二乘学习法。
2.部分空间约束的最小二乘学习法
在有参数线性模型：
的一般最小二乘学习法中，因为参数{Θj}j=1->b可以自由设置，使用的是如下图所示的全体参数空间：
本篇博客中将要介绍的部分空间约束的最小二乘法，则是通过把参数空间限制在一定范围内，来防止过拟合现象。
在这里，P是满足P^2=P和P’=P的b*b维矩阵，表示的是矩阵P的值域R(P)的正交投影矩阵。如下图所示：
通过附加PΘ=Θ这样得约束条件，参数Θ就不会便宜到值域R(P)的范围外了。
部分统建约束的最小二乘学习法的解Θ’，一般通过将最小二乘学习的设计矩阵Φ置换为ΦP的方式求得的：
对于引言中的例子，如果我们采用了部分空间约束的最小二乘学习法，可以得到如下图所示：
虽然和引言部分使用了同一组数据，但是我在这里添加了一个条件进行约束，将及函数参数限制在cos(2.5x)和sin(2.5x)之内。
通过上面结果，我们也能看到，过拟合现象得到了一定的减轻。
注意：正交矩阵P通常是手动进行设置的，利用的是主成分分析法，正交投影矩阵P也可以基于数据进行设置。
3.L2约束的最小二乘学习法
部分空间约束的最小二乘学习法中，只是用了参数空间的一部分，但是由于正交投影矩阵P的设置有很大的自由度，因此在实际中操作起来是有很大难度的。还有一种很不错的方法值得参考——L2约束的最小二乘学习法。
如下图所示：
L2约束的最小二乘学习法的参数空间
L2约束的最小二乘学习法十一参数空间的原点为圆心，在一定半径范围的圆内（大部分是超球）进行求解。R表示的就是圆的半径。
3.1 拉格朗日对偶问题
3.2 拉格朗日对偶问题求解
这里之所以把朗格朗日待定因子λ变为λ/2，是为了乐曲计算域Θ相关的偏微分时产生的2。拉格朗日对偶问题的待定因子λ的解由圆的半径决定。如果不根据半径R来决定λ，而是直接指定的话，L2约束的最小二乘学习法的解Θ’就可以通过下式求得：
上式的第一项Jls(Θ)表示的是对训练样本的拟合程度，通过与第二项的“约束”相结合，来防止对训练样本的过拟合。
方法：对上述目标函数进行关于Θ的偏微分，并设为零，即可求得最小的训练损失。
L2约束的最小二乘学习法的解为：
在这里，I是单位矩阵，在L2约束的最小二乘学习法中，通过将矩阵Φ'Φ和λI相加提高其正则性，进而就可以更稳定地进行逆矩阵求解。因此，L2约束的最小二乘学习法也称为L2正则化的最小二乘学习法，其实我们刚才讲的“约束”项正是正则项，λ为正则化参数。
3.3 设计矩阵的奇异值求解
如果考虑设计矩阵Φ的奇异值求解：
L2约束的最小二乘学习法的解Θ’就可以像下式这样表示：
当λ=0时，L2约束的最小二乘学习法就与一般的最小二乘法相同。当设计矩阵Φ的计算条件很恶劣，比如包含非常小的奇异值Kk的时候，Kk/(Kk^2+λ)就会变成非常大的数值，训练输出向量y包含的噪声就会有所增加。另一方面，在L2约束的最小二乘学习法中，通过在分母的Kk^2中加入征得常数λ，使的Kk/(Kk^2+λ)避免变得过大，进而就可以达到防止过拟合的目的。
3.4 平移到高斯核模型
同理，对于下面的高斯核模型：
执行L2约束的最小二乘学习法的实例如下所示：
在这个例子里，带宽h设为0.3，正则化参数λ为0.1。通过加入正则项，使得过拟合现象得到很好地抑制。
4.模型选择与总结
4.1 总结
本篇文章，通过使用部分空间约束的最小二乘学习法或L2约束的最小二乘学习法，使得最小二乘学习过程中的过拟合现象得到了一定成都的缓和。
但是，我们不得不承认，这些方法都过分依赖于正交投影矩阵P和正则化参数λ的选择，在一定策划给你堵上制约了这些方法的实际应用。因此，为了使有约束条件的最小二乘学习法能够得到最好的结果，选择合适的P和λ至关重要。
另外，使用线性模型时，基函数的种类和数量的选择，以及使用核模型时核函数的种类等选择，也都需要进行优化。
对于高斯核的带宽和正则参数λ对学习结果的影响如下图所示：
4.2 模型选择
实际应用中，最常用到的是“交叉验证法”。
在交叉验证法中，把训练样本的一部分拿出来做为测试样本，不将其用来学习，而只用于评价最终学习结果的泛化误差。
具体而言就是按照下图的流程进行泛化误差的评价，通过运用交叉验证法，可以对繁华误差晶型较为精确地评估。
交叉验证法
交叉验证法的算法流程
4.3 交叉验证法的实例
同样，我们还是来研究高斯核模型：
带宽h∈{0.03,0.3,3}；正则化参数λ∈{0.0001,0.1,100}；分割的几何数m=5。
实验结果如下图所示：
交叉验证试验
结论：(h，λ)=（0.3,0.1）时，误差达到最小值。
有监督回归：约束条件下的最小二乘法相关推荐
- 回归框架下的人脸对齐和三维重建
from: http://geek.csdn.net/news/detail/126153 本文来源微信公众号:深度学习大讲堂,已授权发布. 作者:刘峰,四川大学计算机学院生物特征识别实验室博士三年 ...
- 约束条件下的多元回归
普通的线性约束 假设有如下的回归模型y=x0+b1x1+b2x2+-bn*xn 回归模型中有许多的参数, 假设我们猜测总体的参数中有约束条件如下:b1+b2=1,那么我们可以用样本数据来对这个约束假设 ...
- 【ECCV2016论文速读】回归框架下的人脸对齐和三维重建
本文来源微信公众号:深度学习大讲堂,已授权发布. 作者:刘峰,四川大学计算机学院生物特征识别实验室博士三年级学生,导师游志胜教授.赵启军博士.研究方向为机器学习与模式识别(三维人脸建模与识别.二维人脸 ...
- ESL3.2（下）最小二乘法学习笔记（含施密特正交化，QR分解）
3.2(下) 最小二乘法 这是一篇有关<统计学习基础>,原书名The Elements of Statistical Learning的学习笔记,该书学习难度较高,有很棒的学者将其翻译成中 ...
- 求解多变量非线性全局最优解_约束条件下多变量非线性函数的区间算法.doc
约束条件下多变量非线性函数的区间算法.doc 一种求解约束条件下多变量非线性函数所有全局最优解的区间算法李爽,许才军,王新洲(武汉大学测绘学院,湖北,武汉,430079)摘要研究和实践中经常会遇到附有 ...
- 线性代数 - 矩阵形式下的最小二乘法
20201001 - 0. 引言 最近在看<异常点检测>的时候,其中在PCA部分(准确来说是前面一小节)在进行推导的时候,使用了最小二乘法.其实这个东西本质上并不难,但是让我比较尴尬的是, ...
- 多约束条件求最优值matlab,[MATLAB数学相关] 请教，约束条件下多元函数最小值的求解...
请教,约束条件下多元函数最小值的求解 请假各位高手,我的代码的第二个函数,就是那个二元函数g,目前的求解是没有任何约束的,我要在进行求解时,加入约束t1和t2都大于零,并且t1小于t2来进行求解,之前 ...
- 【MATLAB】求解约束条件下的目标函数最值（fmincon用法解析）
[MATLAB]求解约束条件下的目标函数最值(fmincon用法解析) 一.简介 二.fmincon()的基本形式与参数 三.约束条件类型与参数写法 1.线性不等式约束(参数写法) 2.线性等式约束( ...
- 拉格朗日乘法解决约束条件下的最优问题
拉格朗日乘法解决约束条件下的最优问题 拉格朗日乘数法 寻找变量受一个或多个条件所限制的多元函数极 值方法.将n个变量和k个约束的最优问题转换为 n+k变量的方程组极值问题,变量没有约束. 拉格朗日乘数 ...
最新文章
- java基础---JVM---java内存区域与内存溢出问题
- python语言程序设计书-清华大学出版社-图书详情-《Python语言程序设计》
- 从今天开始，学习Webpack，减少对脚手架的依赖(下)
- yii 前后台分离及登陆验证
- c/c++整理--c++面向对象（1）
- mysql查看现在使用的引擎_mysql查看当前库使用的引擎及简单操作
- 常用损失函数（Loss Function）
- 使用Gpg4Win+Outlook Express实现发送和接收加密邮件
- Navicat连接MySQL8.0版本时出现Client does not support authentication protocol requested by server；报错的问题解决办法
- yum更新php版本,yum php版本太低怎么办
- Flink Kafka Connector 与 Exactly Once 剖析
- MAC终端命令颜色设置
- 计算机代码查重软件,文件查重程序
- idea+phpstudy完成php对数据库的操作
- linux运维基础[系统磁盘管理]——————存储设备的识别、df、du、fsck
- JS去除输入文本的所有空格、逗号、换行符等空白字符
- 怎么用计算机把浓度转换成PH,ph浓度换算(ph怎么换算OH浓度)
- 电子学会2023年3月青少年软件编程python等级考试试卷（四级）真题，含答案解析
- WARNING: [Labtools 27-3413] vivado报错调试界面无信号无波形解决方法
- POJ2404:Jogging Trails