linear regression

yi称为应变量

xi称为自变量

beta称为参数向量； beta的长度为p. 样本数为n, n>p

epilson称为随机误差

对所有评价函数有两个假设：

1 矩阵X的秩为p. X 线性无关、满秩

2 xi不包含误差因素， error-free。误差提到了epilson中

经典线性无关模型：

1 epilson期望为0

2 方差为 d，服从正态分布

OLS， ordinary least squares

假设b就是参数beta的取值， yi - xi * b称为第i项观测的 residual残差。

SSR， sum of squared residual 称为残差平方和S(b)

S(b) = sigma(yi - xi * b)^2 = (y - Xb)' * (y - Xb)

b使得S(b)取值最小，称为OLS estimator for beta。

beta = min(b|S(b)) = (X'X)-1X'y

After we have estimated β, the fitted values (or predicted values) from the regression will be

y = X*beta = P y

linear regression相关推荐

【cs229-Lecture2】Linear Regression with One Variable (Week 1)(含测试数据和源码)
从Ⅱ到Ⅳ都在讲的是线性回归,其中第Ⅱ章讲得是简单线性回归(simple linear regression, SLR)(单变量),第Ⅲ章讲的是线代基础,第Ⅳ章讲的是多元回归(大于一个自变量). 本文的 ...
Linear Regression（一）——
Linear Regression(一)-- 机器学习回归定义回归的定义在平面上存在这些点我希望能用一条直线尽可能经过它们. 于是我们画了下面的一条直线这样的过程就叫做回归. 这个过程中我们 ...
R语言使用lm函数拟合多元线性回归模型、假定预测变量没有交互作用（Multiple linear regression）
R语言使用lm函数拟合多元线性回归模型.假定预测变量没有交互作用(Multiple linear regression) 目录
Python使用sklearn和statsmodels构建多元线性回归模型（Multiple Linear Regression）并解读
Python使用sklearn和statsmodels构建多元线性回归模型(Multiple Linear Regression)并解读 #仿真数据集(预测股票指数) 这里的目标是根据两个宏观经济变量 ...
R语言可视化包ggplot2绘制线性回归模型曲线实战（ Linear Regression Line）
R语言可视化包ggplot2绘制线性回归模型曲线实战( Linear Regression Line) 目录 R语言可视化包ggplot2绘制线性回归模型曲线实战( Linear Regression ...
R语言基于线性回归（Linear Regression）进行特征筛选（feature selection）
R语言基于线性回归(Linear Regression)进行特征筛选(feature selection) 对一个学习任务来说,给定属性集,有些属性很有用,另一些则可能没什么用.这里的属性即称为&qu ...
局部加权线性回归(Local Weighted Linear Regression)+局部加权回归+局部线性回归
局部加权线性回归(Local Weighted Linear Regression)+局部加权回归+局部线性回归 locally weighted scatterplot smoothing,LOWE ...
python中的linearregression_【python+机器学习（2）】python实现Linear Regression
欢迎关注哈希大数据微信公众号[哈希大数据] python实现多元线性回归算法(lr) 想必大家在很早之前就接触过函数的概念,即寻找自变量和因变量之间的对应关系,一元一次.多元一次.一元二次等等,表示的 ...
Linear regression with one variable算法实例讲解（绘制图像，cost_Function ,Gradient Desent, 拟合曲线, 轮廓图绘制）_矩阵操作...
%测试数据 'ex1data1.txt', 第一列为 population of City in 10,000s, 第二列为 Profit in $10,000s 1 6.1101,17.592 2 ...
机器学习之线性回归（Linear Regression）
线性学习中最基础的回归之一,本文从线性回归的数学假设,公式推导,模型算法以及实际代码运行几方面对这一回归进行全面的剖析~ 一:线性回归的数学假设 1.假设输入的X和Y是线性关系,预测的y与X通过线性方 ...

linear regression

linear regression相关推荐

最新文章

热门文章