ML之LS&OLS:LS&OLS算法的简介、论文、算法的改进(最佳子集选择OFSS法、前向逐步回归FSR法)、代码实现等详细攻略

目录

LS&OLS算法的简介

LS&OLS算法的论文

LS&OLS算法的算法的改进(最佳子集选择法、前向逐步回归法)

LS&OLS算法的代码实现


LS&OLS算法的简介

OLS是在大约200 年前(1806年)由高斯(Gauss)和法国数学家阿德里安- 马里· 勒让德(Legendre)提出的。

LS&OLS算法的论文

后期更新……

LS&OLS算法的算法的改进(最佳子集选择法、前向逐步回归法)

1、OFSS

(1)、OFSS最佳子集选择法伪代码实现

Initialize: Out_of_sample_error = NULLBreak X and Y into test and training sets
for i in range(number of columns in X):for each subset of X having i+1 columns:fit ordinary least squares modelOut_of_sample_error.append(least error amoung subsets containing i+1 columns)
Pick the subset corresponding to least overall error

2、FSR

逐步回归的基本思想是将变量逐个引入模型,每引入一个解释变量后都要进行F检验,并对已经选入的解释变量逐个进行t检验,当原来引入的解释变量由于后面解释变量的引入变得不再显著时,则将其删除。以确保每次引入新的变量之前回归方程中只包含显著性变量。这是一个反复的过程,直到既没有显著的解释变量选入回归方程,也没有不显著的解释变量从回归方程中剔除为止。以保证最后所得到的解释变量集是最优的。

(1)、FSR前向逐步回归法伪代码实现

Initialize: ColumnList = NULLOut-of-sample-error = NULLBreak X and Y into test and training sets
For number of column in X:For each trialColumn (column not in ColumnList):Build submatrix of X using ColumnList + trialColumnTrain OLS on submatrix and store RSS Error on test dataColumnList.append(trialColumn that minimizes RSS Error)Out-of-sample-error.append(minimum RSS Error)

LS&OLS算法的代码实现

后期更新……

ML之LSOLS:LSOLS算法的简介、论文、算法的改进(最佳子集选择OFSS法、前向逐步回归FSR法)、代码实现等详细攻略相关推荐

  1. ML/DL之预测分析类:利用机器学习算法进行预测分析的简介、分析、代码实现之详细攻略

    ML/DL之预测分析类:利用机器学习算法进行预测分析的简介.分析.代码实现之详细攻略 目录 机器学习算法进行预测的简介 机器学习算法进行预测的分析 机器学习算法进行预测的代码实现 机器学习算法进行预测 ...

  2. ML之LiR之PLiR:惩罚线性回归PLiR算法简介、分类、代码实现之详细攻略

    ML之LiR之PLiR:惩罚线性回归PLiR算法简介.分类.代码实现之详细攻略 目录 PLiR算法简介 PLiR算法分类 PLiR算法代码实现 PLiR算法简介 更新-- PLiR算法分类 1.RiR ...

  3. Py之scikit-learn:机器学习Sklearn库的简介、安装、使用方法(ML算法如何选择)、代码实现之详细攻略

    Py之scikit-learn:机器学习Sklearn库的简介.安装.使用方法.代码实现之详细攻略 目录 scikit-learn的简介 scikit-learn的安装 scikit-learn的使用 ...

  4. ML之FE:PCC皮尔逊相关系数(Pearson correlation coefficient)的简介、案例应用(与spearman相关系数对比及其代码实现)之详细攻略

    ML之FE:PCC皮尔逊相关系数(Pearson correlation coefficient)的简介.案例应用(与spearman相关系数对比及其代码实现)之详细攻略 目录 PCC/PPMCC皮尔 ...

  5. ML之FE:特征工程中数据缺失值填充的简介、方法、全部代码实现之详细攻略

    ML之FE:特征工程中数据缺失值填充的简介.方法.全部代码实现之详细攻略 目录 特征工程中数据缺失值填充的简介.方法.经典案例

  6. DL:神经网络算法简介之Affine 层的简介、使用方法、代码实现之详细攻略

    DL:神经网络算法简介之Affine 层的简介.使用方法.代码实现之详细攻略 目录 Affine 层的简介 批版本的Affine 层 Affine 层的使用方法 Affine 层的代码实现 Affin ...

  7. ML之MaL: 流形学习MaL的概念认知、算法分类、案例应用、代码实现之详细攻略

    ML之MaL: 流形学习MaL的概念认知.算法分类.案例应用.代码实现之详细攻略 目录 MaL的概念认知 MaL的算法分类 MaL的案例应用 MaL的代码实现 MaL的概念认知 流形学习,全称流形学习 ...

  8. Py之skflow:skflow的简介、安装、使用方法、代码实现之详细攻略

    Py之skflow:skflow的简介.安装.使用方法.代码实现之详细攻略 目录 skflow的简介 skflow的安装 skflow的使用方法 skflow的代码实现 skflow的简介 skflo ...

  9. Python编程语言学习:sklearn.manifold的TSNE函数的简介、使用方法、代码实现之详细攻略

    Python编程语言学习:sklearn.manifold的TSNE函数的简介.使用方法.代码实现之详细攻略 目录 Manifold简介 TSNE简介-数据降维且可视化 TSNE使用方法 TSNE代码 ...

最新文章

  1. 【OpenCV3】双线性插值
  2. R语言观察日志(part4)--paste函数
  3. BusinessPartner Relationship in WebUI and Fiori
  4. android 集成同一interface不同泛型_【Java视频教程】day30-泛型??
  5. centos安装php7编译
  6. Eureka 与Zookeeper 的区别,Eureka相较于Zookeeper好在哪?
  7. PyTorch安装问题解决
  8. Golang中interface{}作为函数参数和函数返回值的使用
  9. python读取文件登录_python 3.x 循环读取文件用户登录
  10. 坚持写博客,果然有人找吾进行技术合作
  11. react实现聊天界面_React-Redux 100行代码简易版探究原理
  12. linux下数学公式的编辑器,Linux下的公式编辑器——libreoffice math 使用快速入门
  13. php跨域请求post请求失败,nginx + php 跨域问题,GET可以跨域成功,POST失败
  14. 鹰式价差matlab,蝶式及鹰式价差组合策略
  15. 四种插头类型:XH、VH、SM、HY
  16. 使用docker下载搭建TeamCity容器并使用
  17. Jquery 禁止键盘Backspace键
  18. 写一个旅行青蛙攻略APP
  19. python爬虫实操|爬取nba中国官网球员数据
  20. zoom:1的清楚浮动原理?

热门文章

  1. mysql 导出函数_mysql导出存储过程或函数
  2. weka: FCBFSearch
  3. C语言中malloc为字符型指针分配内存引起的缓冲区泄露
  4. Verilog HDL程序设计——基本要素
  5. JavaScript零散知识点总结
  6. Python中常用字符串 函数-转
  7. 闲鱼靠什么支撑起万亿的交易规模?| 云原生Talk
  8. Java 集合框架,看这篇真的够了!
  9. 对一些架构设计原则的反思
  10. 一个例子理解什么是RPC?