《数学建模》----偏最小二乘法回归分析

偏最小二乘回归是一种新型的多元统计数据分析方法，它与1983年由伍德和阿巴诺等人首次提出。近十年来，它在理论、方法和应用方面都得到了迅速的发展。密西根大学的弗耐尔教授称偏最小二乘回归为第二代回归分析方法。

偏最小二乘回归方法在统计应用中的重要性主要的有以下几个方面：

（1）偏最小二乘回归是一种多因变量对多自变量的回归建模方法。

（2）偏最小二乘回归可以较好地解决许多以往用普通多元回归无法解决的问题。在普通多元线形回归的应用中，我们常受到许多限制。最典型的问题就是自变量之间的多重相关性。如果采用普通的最小二乘方法，这种变量多重相关性就会严重危害参数估计，扩大模型误差，并破坏模型的稳定性。变量多重相关问题十分复杂，长期以来在理论和方法上都未给出满意的答案，这一直困扰着从事实际系统分析的工作人员。在偏最小二乘回归中开辟了一种有效的技术途径，它利用对系统中的数据信息进行分解和筛选的方式，提取对因变量的解释性最强的综合变量，辨识系统中的信息与噪声，从而更好地克服变量多重相关性在系统建模中的不良作用。

（3）偏最小二乘回归之所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。

偏最小二乘回归=多元线性回归分析+典型相关分析+主成分分析

由于偏最小二乘回归在建模的同时实现了数据结构的简化，因此，可以在二维平面图上对多维数据的特性进行观察，这使得偏最小二乘回归分析的图形功能十分强大。在一次偏最小二乘回归分析计算后，不但可以得到多因变量对多自变量的回归模型，而且可以在平面图上直接观察两组变量之间的相关关系，以及观察样本点间的相似性结构。这种高维数据多个层面的可视见性，可以使数据系统的分析内容更加丰富，同时又可以对所建立的回归模型给予许多更详细深入的实际解释。

一、偏最小二乘回归的建模策略\原理\方法

1.1建模原理

设有 q个因变量{}和p自变量{}。为了研究因变量和自变量的统计关系,我们观测了n个样本点,由此构成了自变量与因变量的数据表X={}和.Y={}。偏最小二乘回归分别在X与Y中提取出成分和 (也就是说, 是的线形组合, 是的线形组合).在提取这两个成分时,为了回归分析的需要,有下列两个要求:

(1)和应尽可能大地携带他们各自数据表中的变异信息;

(2)与的相关程度能够达到最大。

这两个要求表明，和应尽可能好的代表数据表X和Y,同时自变量的成分对因变量的成分又有最强的解释能力。

在第一个成分和被提取后，偏最小二乘回归分别实施X 对的回归以及 Y对的回归。如果回归方程已经达到满意的精度，则算法终止；否则,将利用 X被解释后的残余信息以及Y 被解释后的残余信息进行第二轮的成分提取。如此往复，直到能达到一个较满意的精度为止。若最终对 X共提取了 m个成分，…，，偏最小二乘回归将通过实施对，…，，的回归,然后再表达成关于原变量，…，，的回归方程,k=1,2,…,q 。

1.2计算方法推导

为了数学推导方便起见,首先将数据做标准化处理。X 经标准化处理后的数据矩阵记为=(，…，)，经标准化处理后的数据矩阵记为=(，…，)。

第一步记t1是E0的第一个成分，t2是E1的第一个轴，它是一个单位向量，既||w1||=1。

记u1是F0的第一个成分，u1=F0C1。C1 是F0的第一个轴，并且||C1||=1。

如果要，能分别很好的代表X与Y中的数据变异信息，根据主成分分析原理，应该有

Var()-max

另一方面，由于回归建模的需要，又要求对有很大的解释能力，有典型相关分析的思路，与的相关度应达到最大值，既

r（t1，u1）max

因此，综合起来，在偏最小二乘回归中，我们要求与的协方差达到最大，既

正规的数学表述应该是求解下列优化问题，既

因此，将在||||=1和||||=1的约束条件下，去求()的最大值。

可见,是矩阵的特征向量,对应的特征值为.是目标函数值,它要求取最大值,所以, 是对应于矩阵最大特征值的单位特征向量.而另一方面, 是对应于矩阵最大特征值的单位特征向量.

求得轴和后,即可得到成分

1.3交叉有效性

可以百度PRESS预测误差平方和,这个用的比较多

《数学建模》----偏最小二乘法回归分析相关推荐

数学建模偏最小二乘回归模型
偏最小二乘回归背景:在实际问题中,经常遇到需要研究两组多重相关变量间的相互依赖关系,并研究用一组变量(常称为自变量或预测变量)去预测另一组变量(常称为因变量或响应变量),除了最小二乘准则下的经典多元 ...
数学建模-偏最小二乘回归模型
偏最小二乘回归提供一种多对多线性回归建模的方法,特别当两组变量的个数很多,且都存在多重相关性,而观测数据的数量(样本量)又较少时,用偏最小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点. ...
python偏最小二乘法回归分析_【数学建模】偏最小二乘回归分析（PLSR）
PLSR的基本原理与推导,我在这篇博客中有讲过. 0. 偏最小二乘回归集成了多元线性回归.主成分分析和典型相关分析的优点,在建模中是一个更好的选择,并且MATLAB提供了完整的实现,应用时主要的问题是 ...
python偏最小二乘法回归分析_偏最小二乘回归（PLSR）- 2 标准算法（NIPALS）
1 NIPALS 算法 Step1:对原始数据X和Y进行中心化,得到X0和Y0.从Y0中选择一列作为u1,一般选择方差最大的那一列. 注:这是为了后面计算方便,如计算协方差时,对于标准化后的数据,其样 ...
数学建模1（历年问题与模型）
数学问题数学模型程序情况求解工厂生产总费用最小 LP模型谢金鑫优化建模与LINGO\program\新建文件夹\ch03 分组匹配效率最高问题同上分组匹配效率最高问题同上二次规 ...
数学建模：1.概述监督学习--回归分析模型
数学建模概述监督学习-回归分析(线性回归) 监督学习-分类分析(KNN最邻近分类) 非监督学习-聚类(PCA主成分分析& K-means聚类) 随机算法-蒙特卡洛算法 1.回归分析在统计学 ...
学习使用 MATLAB 数学建模一篇文章就够了
学习中,随着学习的深入会不断补充内容,欢迎大家一起学习数学建模知识,有什么问题,大家可以评论,一起讨论学习. 需要LaTeX 数学建模模板和我收集的一些数学建模资料的可以评论留下邮箱,与君共勉 !!! ...
数学建模7 多元线性回归分析
1.回归思想相关性(不是因果性) Y:因变量,常常是我们需要研究的核心变量,分为连续值型,0-1型,定序变量,计数变量,生存变量 X:自变量(解释变量) 回归分析:研究x和y之间的相关性的分析,尝试 ...
数学建模学习1.22——多元回归分析
清风老师课程目录一.回归分析简介二.数据分类与数据处理方法三.线性回归四.回归系数的解释与模型分类五.回归实例六.错误论文分析七.清风老师的毕业论文讲解八.异方差,多重共线性和逐步 ...

《数学建模》----偏最小二乘法回归分析

《数学建模》----偏最小二乘法回归分析相关推荐

最新文章

热门文章