偏最小二乘回归(partial least squares regression,PLSR)

参考博客：典型相关分析、偏最小二乘回归

给定数据自变量XXX和因变量YYY，
最小二乘回归：找的是一个线性变换AAA，让∥Y−XA∥F\|Y - XA\|_F∥Y−XA∥F最小
典型相关分析：找的是两个向量wx,wyw_x,w_ywx,wy，让XXX和YYY分别在这两个向量上的投影系数的相关系数最大化，也就是优化问题
max⁡wx,wyρ=cov(Xwx,Ywy)var(Xwx)var(Ywy)\max_{w_x,w_y} \rho = \dfrac{cov (Xw_x,Yw_y)}{\sqrt{var(Xw_x)var(Yw_y)}}wx,wymaxρ=var(Xwx)var(Ywy)cov(Xwx,Ywy)
求解过程可以利用求导和消元法，也可以转化成以下的优化问题然后用Lagrange乘子法
max⁡cov(Xwx,Ywy)s.t. var(Xwx)=1        var(Ywy)=1\max cov (Xw_x,Yw_y)\\ s.t.\,var(Xw_x) = 1\\ \,\,\,\,\,\,\,\, var(Yw_y)=1maxcov(Xwx,Ywy)s.t.var(Xwx)=1var(Ywy)=1
然而CCA有个缺点就是不能得到从X到Y的映射关系。（所以经常使用knn进行分类）
偏最小二乘回归：即要相关系数尽量大，也要保证各集合方差最大化，做一个折中就是最大化协方差，也就是
max⁡cov(Xp1,Yq1)s.t. ∥p1∥=∥q1∥=1\max cov(Xp_1,Yq_1)\\ s.t. \, \|p_1\| = \|q_1\| = 1maxcov(Xp1,Yq1)s.t.∥p1∥=∥q1∥=1
除此之外，PLSR还利用投影对两部分数据进行回归，得到残差部分，继续进行这个步骤（具体参考上面博客），最终得到

这样可以得到 XXX到 YYY的映射

偏最小二乘回归(partial least squares regression,PLSR)相关推荐

【读书笔记】数据出现多重共线性情况：岭回归，lasso回归，适应性lasso回归，偏最小二乘回归
# 2.2.3 数据出现多重共线性情况:岭回归,lasso回归,适应性lasso回归,偏最小二乘回归 # 有一些关于多重共线性的度量,其中之一是容忍度(tolerance)或(等价的)方差膨胀因子(v ...
R语言实现偏最小二乘回归法 partial least squares (PLS)回归
偏最小二乘回归是一种回归形式 . 当使用pls时,新的线性组合有助于解释模型中的自变量和因变量. 最近我们被客户要求撰写关于偏最小二乘回归的研究报告,包括一些图形和统计输出. 在本文中,我们将使用p ...
PLSR（偏最小二乘回归浅析）
问题描述算法步骤分别提取两变量组的第一对线性组合组成的向量建立回归迭代最后英文原文:Partial Least Squares (PLS) Regression. 相关博客:偏最小二乘回归 ...
Python偏最小二乘回归(PLSR)测试
scikit learn机器学习包中包含了偏最小二乘回归,所以可以调用对应的函数来实现 class sklearn.cross_decomposition.PLSRegression(n_compon ...
应用偏最小二乘回归（PLSR）对NIR光谱与样本中RON含量进行定量分析
本文对偏最小二乘法(PLS--Partial Least Squares Regression,也缩写为PLSR)的算法原理进行了简单的推导,并结合汽油近红外光谱举例了算法具体应用的实例.原本写了wo ...
偏最小二乘回归（PLSR）和主成分回归（PCR）
本项目中我们被要求显示如何在matlab中应用偏最小二乘回归(PLSR)和主成分回归(PCR),并讨论这两种方法的有效性.当存在大量预测变量时,PLSR和PCR都是对因变量建模的方法,并且这些预测变量 ...
MATLAB中的偏最小二乘回归（PLSR）和主成分回归（PCR）
通过Matlab示例来解释偏最小二乘的原理此示例显示如何在matlab中应用偏最小二乘回归(PLSR)和主成分回归(PCR),并讨论这两种方法的有效性. 当存在大量预测变量时,PLSR和PCR都是对 ...
matlab偏最小二乘截距,matlab代写偏最小二乘回归（PLSR）和主成分回归（PCR）
原标题:matlab代写偏最小二乘回归(PLSR)和主成分回归(PCR) 原文:http://tecdat.cn/?p=2655 此示例显示如何在matlab中应用偏最小二乘回归(PLSR)和主成分回 ...
python偏最小二乘法回归分析_偏最小二乘回归（PLSR）- 2 标准算法（NIPALS）
1 NIPALS 算法 Step1:对原始数据X和Y进行中心化,得到X0和Y0.从Y0中选择一列作为u1,一般选择方差最大的那一列. 注:这是为了后面计算方便,如计算协方差时,对于标准化后的数据,其样 ...

偏最小二乘回归(partial least squares regression,PLSR)

偏最小二乘回归(partial least squares regression,PLSR)相关推荐

最新文章

热门文章