partial least square PLS

  • 原理
  • 与MLS、PCR、MRA比较
  • 适用情况
  • 数学推导与软件实现
  • 参考文献

原理

在影响因变量的大量的因素中,会存在隐形的影响因素但却具有很强的解释力,PLS的基本思想是提取这些隐性因素去代表尽可能多的变量来解释因变量。因而PLS也被称作“projection to latent structure.”

具体过程见下图的上部分,实际上是从factor中提取出因子T(x-scores),而后通过T去得出预测项U(y-scores) ,使用y-scores去建立对因变量的预测值。PLS类似于robust的RDA(Redundancy Analysis)分析(方法对比见后文)。

PLS也需要确定所选因子的数量,但可以通过基于残差方差的heuristic technique或选择使总预测误差最小的因子数。

PLS和标准模型对比,图片来源:参考文献[1]

The extracted factors T (also referred to as X-scores) are used to predict the Y-scores U , and then the predicted Y-scores are used to construct predictions for the responses. This procedure actually covers various techniques, depending on which source of variation is considered most crucial.

与MLS、PCR、MRA比较

MLS(多元回归分析) 当变量大于样本数时,会出现 over-fitting 的情况,模型拟合优度极高,但模型本身会丧失预测的能力。
当提取的因子数量大于或等于样本因子矩阵的秩,则PLS与MLR的结果相等

从PLS的定义中,可以看出PLS与主成分分析类似,但存在一定的区别:

  • 1.主成分分析(PCR): 从自变量中选择对因变量解释力度最高的主成分(x-score),对预测值没有进行变化。

    同时,相似的方法还有RDA (Randall D在文中用了MRA做了类比)

  • 2.最大冗余分析(Maximum Redundancy Analysis): 选取对因变量预测值解释力度最高的部分(y-score)。

    • 事实上,RDA类似于一个约束的主成分分析,其对Y的拟合值(预测值)进行了一次主成分分析,提取出被解释变量的主成分,再找影响这一主成分的解释变量或解释变量的主成分。(细节见参考文献2或 Legendre和Legendre(1998)以及ter Braak(1994))
    • RDA的方法主要用于被解释变量(响应变量)个数较多时,多出现在生态计量学的分析中。

从计算方法来看,PCA、RDA与PLS在方法上的区别在于,PCA是对XX进行特征分解,RDA是对YhatYhat进行特征分解,而PLS是对XY进行奇异值分解。

适用情况

1.因子较多且共线性较高

Partial least squares (PLS) is a method for constructing predictive models when the factors are many and highly collinear.

2.侧重对因变量的预测而不是考察变量间的关系

Note that the emphasis is on predicting the responses and not necessarily on trying to understand the underlying relationship between the variables.

数学推导与软件实现

推导过程和MATLAB实现见 参考文献 [3]
Stata实现见 Sergio Venturini & Mehmet Mehmetoglu, 2017 和 Mikko Rönkkö, 2015
R实现见 Introduction to the pls Package

参考文献

[1] An Introduction to Partial Least Squares Regression Randall D. Tobias, SAS Institute Inc., Cary, NC
[2] 数量生态学笔记||冗余分析(RDA)概述
[3] 【建模应用】PLS偏最小二乘回归原理与应用

【计量模型整理】偏最小二乘回归 PLS相关推荐

  1. 交叉分解(Cross decomposition)、典型关联分析(Canonical Correlation Analysis,CCA)、偏最小二乘回归PLS

    交叉分解(Cross decomposition).典型关联分析(Canonical Correlation Analysis,CCA).偏最小二乘回归PLS 目录 交叉分解.典型关联分析(Canon ...

  2. MATLAB实现偏最小二乘回归PLS

    这一定是一篇真正的傻瓜攻略,原理为根,算法为骨,应用为肉,傻瓜为皮. 本文主要介绍偏最小二乘回归的基本实现,主要内容基于司守奎<数学建模算法与应用>第11章,在其基础上进行优化. 偏最小二 ...

  3. 傻瓜攻略(十二)——MATLAB实现偏最小二乘回归PLS

    这一定是一篇真正的傻瓜攻略,原理为根,算法为骨,应用为肉,傻瓜为皮. 本文主要介绍偏最小二乘回归的基本实现,主要内容基于司守奎<数学建模算法与应用>第11章,在其基础上进行优化. 偏最小二 ...

  4. R语言 偏最小二乘回归PLS代码

    导入数据集,标准化变量 library(pls) #读取数据赋值 df = read.csv("soil.csv") y = scale(df$soil.som) #标准化 x = ...

  5. 偏最小二乘回归和偏最小二乘路径模型

    1. 偏最小二乘回归(Partial least squares regression, PLS回归) 偏最小二乘 (PLS) 回归是将预测变量减少为较小的一组不相关分量并对这些分量(而不是原始数据) ...

  6. 主成分回归之后预测_回归分析|笔记整理(B)——主成分回归(下),偏最小二乘回归...

    大家好! 上一节我们给主成分回归开了一个头,这一节我们会继续介绍它的有关内容,并且同时会介绍另一种新的回归方法:偏最小二乘回归.这一节的理论性也比较强,主要关注了相关回归的理论上的性质与相关证明. 提 ...

  7. 偏最小二乘回归(三):身体特征与体能训练结果的 案例分析

    偏最小二乘回归(一):模型介绍 偏最小二乘回归(二):一种更简洁的计算方法 本节采用兰纳胡德(Linnerud)给出的关于体能训练的数据进行偏最小二乘回归建 模.在这个数据系统中被测的样本点,是某健身 ...

  8. matlab做偏最小二乘回归(PLS带精度验证)

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/lusongno1/article/de ...

  9. 数学建模 偏最小二乘回归模型

    偏最小二乘回归 背景:在实际问题中,经常遇到需要研究两组多重相关变量间的相互依赖关系,并研究用一组变量(常称为自变量或预测变量)去预测另一组变量(常称为因变量或响应变量),除了最小二乘准则下的经典多元 ...

最新文章

  1. kdj买卖指标公式源码_“点金主图+副图+KDJ排序指标”公式源码
  2. 面下个对象 多态特性
  3. EasyUI环境搭建与入门基础语法
  4. c 复杂的前置后置面试题_采摘后18小时直达货架,利农集团用后置仓“直连”生鲜电商...
  5. stm32linux区别,STM32MPU和OpenSTLinux你了解多少?
  6. C/C++蓝桥杯1 备赛准备
  7. 华硕台式机重装系统教程方法
  8. Python rabbitmq的使用(五)
  9. magento 首页添加最新产品 Display new products on the home page
  10. 信号完整性分析大作业_Matplotlib数据可视化 amp; Pandas数据分析 综合实训大作业...
  11. python selenium 自动化 第四章-实用selenium+python实现web自动化测试第四节
  12. python round保留小数位_Python-其他-round()保留小数位时遇到的问题
  13. python提取字符串中单词_从字符串中提取单词,删除标点符号并在Python中返回带有分隔单词的列表...
  14. html api中文文档,Svelte API 中文文档 | Svelte 中文网
  15. cnnvd爬取漏洞信息
  16. [转载] 信息系统项目管理师论文范例:论软件项目的进度管理
  17. 最新2022中国大学排名发布!
  18. python九九乘法表矩形_python九九乘法表和打印图形程序
  19. classes是什么意思怎么读_四川专本套读解析 专本套读是什么意思?高中起点升本科最快多久毕业?...
  20. C语言递归实现四色定理,实现四色定理的C++程序

热门文章

  1. Java毕设项目演唱会网上订票购票系统计算机(附源码+系统+数据库+LW)
  2. cubieboard mysql_Cubieboard A10 安装Nand系统,配置nginx,php,mysql,samba详细教程
  3. 图像直方图正规化(Normalization)数学原理和纯C语言实现
  4. 数据库正规化和设计技巧
  5. 定点数的运算 —— 原码、补码的除法运算
  6. linux 服务器Redis清除指定key缓存
  7. Linux:死锁与解决方法
  8. Docker系列-安装 kafka 单机版本
  9. CSS属性简表(通常)
  10. 【OpenGL】创建GL_Points