1.1.1. Ordinary Least Squares（普通最小二乘）

2024-05-10 16:43:47

1.1.1. Ordinary Least Squares

注：
本文所指线性回归，若非特别强调，均指最基础的线性回归模型

一、简介

线性模型的数学体现是：
y^=ω0+ω1x1+ω2x2+...+ωnxn\hat{y}=\omega_0+\omega_1x_1+\omega_2x_2+...+\omega_nx_ny^=ω0+ω1x1+ω2x2+...+ωnxn

首先要明确，我们的最终目的是要达到：对于给定的自变量vector x, 我们能根据已知的coef_vector ω\omegaω预测出最接近真实情况的y^\hat{y}y^.

所以，在模型训练阶段，我们的需求是找到最合适的coef_使得预测值y^\hat{y}y^与它的真实值y尽可能的接近。

二、应用

用fit()拟合函数
用coef_输出参数
用predict()预测

三、多重共线性

1.文档

先看官方文档

下面这是翻译

2.解释

最后我们来解释一下这个所谓的多重共线性是个什么东西。

百度百科是这样解释的：

这个东西表达了什么？

它提到了一种让模型变得估计失真或难以估计准确的情况
这种情况是：变量之间存在精确相关性或高度相关关系

这种情况怎么理解？

就是当特征A与特征B高度相关，或者特征C可以由D和E线性表示时，我们稍稍调整A或D的值（例如存在某个离群点或者异常值），B和C也会相应的波动。这种波动在相似特征较多时会被放大，但是这种很大波动很可能只是一个异常值引起的，所以多重共线性最终会导致模型估计失真或难以估计准确

3.如何解决

画热力图（协方差矩阵）选择特征进行训练（在特征数目较少的情况下）
PCA降维（1.降维后特征失去原本的语意；2.测试集和真实预测时也要降维）
可以尝试Ridge regression（岭回归）来解决问题

四、线性回归的系数（非负）

这里介绍了一种情况，那就是当实际问题中参数均非负时，我们可以采用非负的最小二乘。当然，文档提供的事例证明了在系统限定系数下，NNLS要比OLS更好

五、时间复杂度

根据矩阵论中的奇异值分解，可以计算出，普通最小二乘的时间复杂度是O(nsamplesnfeatures2n_{samples}n_{features}^2nsamplesnfeatures2)

1.1.1. Ordinary Least Squares（普通最小二乘）相关推荐

Python 回归普通最小二乘法（Ordinary Least Squares）
广义线性回归模型: 把作为系数向量(coef_):把作为截距(intercept_) 1.普通最小二乘法(Ordinary Least Squares) 线性回归的目的就是是的预测值与实际值的残差平方 ...
线性回归模型-最小二乘法Ordinary Least Squares
1.1 线性回归模型下面是一系列的回归方法, 目标值是输入变量的线性组合, 定义y^\hat {y}y^表示要预测的值. y^(w,x)=w0+w1x1+...+wpxp\hat {y}(w, x ...
Ordinary least squares是什么意思？
Ordinary Least Square是普通最小二乘法,简称OLS.是应用最多的参数估计方法,也是从最小二乘原理出发的其他估计方法的基础. 英语的解释: In statistics, ordina ...
线性回归（Linear Regression）和最小二乘法（ordinary least squares）
下面是对Andrew Ng的CS229机器学习课程讲义note1做的一部分笔记,按照自己的理解,对note1进行部分翻译,英文水平和知识水平不够,很多认识都不够深刻或者正确,请大家不吝赐教! 一.基本 ...
最小二乘法（Ordinary Least Squares）
最小二乘法(又称最小平方法)是一种数学优化技术.它通过最小化误差的平方和寻找数据的最佳函数匹配.利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小.最小二乘法 ...
scikit-learn学习笔记（四）Ridge Regression ( 岭回归 )
岭回归通过对系数的大小施加惩罚来解决普通最小二乘的一些问题. ridge coefficients ( 岭系数 )最小化了惩罚的残差平方和, 这里, 是控制收缩量的复杂度参数: 值越大,收缩量 ...
ols最小二乘法是什么|OLS最小二乘法是如何推导的
本站原创文章,转载请说明来自<老饼讲解-机器学习>ml.bbbdata.com <老饼讲解-机器学习>--一个免费.专业.全面的机器学习网站http://ml.bbbdata. ...
数据科学专业词汇中英文对照表 1.0 v
Stop words 停顿词 Substantive information 单词携带的信息量 Relational information 关系性信息 Normalization 标准化处理 Per ...
mysql 多项式_多项式拟合和最小二乘问题
背景知识 The method of least squares is a standard approach in regression analysis to the approximate so ...

最新文章

热门文章