一元线性回归方程的建立

一元线性回归分析是处理两个变量之间关系的最简单模型，它所研究的对象是两个变量之间的线性相关关系。通过对这个模型的讨论，我们不仅可以掌握有关一元线性回归的知识，而且可以从中了解回归分析方法的基本思想、方法和应用。

一、问题的提出

例2-1-1 为了研究氮含量对铁合金溶液初生奥氏体析出温度的影响，测定了不同氮含量时铁合金溶液初生奥氏体析出温度，得到表2-1-1给出的5组数据。

表2-1-1 氮含量与灰铸铁初生奥氏体析出温度测试数据

如果把氮含量作为横坐标，把初生奥氏体析出温度作为纵坐标，将这些数据标在平面直角坐标上，则得图2-1-1，这个图称为散点图。

从图2-1-1可以看出，数据点基本落在一条直线附近。这告诉我们，变量X与Y的关系大致可看作是线性关系，即它们之间的相互关系可以用线性关系来描述。但是由于并非所有的数据点完全落在一条直线上，因此X与Y的关系并没有确切到可以唯一地由一个X值确定一个Y值的程度。其它因素，诸如其它微量元素的含量以及测试误差等都会影响Y的测试结果。如果我们要研究X与Y的关系，可以作线性拟合

（2-1-1）

我们称（2-1-1）式为回归方程，a与b是待定常数，称为回归系数。从理论上讲，（2-1-1）式有无穷多组解，回归分析的任务是求出其最佳的线性拟合。

二、最小二乘法原理

如果把用回归方程计算得到的 _i值(i=1,2,…n)称为回归值，那么实际测量值y_i与回归值 _i之间存在着偏差，我们把这种偏差称为残差，记为e_i(i=1,2,3,…,n)。这样，我们就可以用残差平方和来度量测量值与回归直线的接近或偏差程度。残差平方和定义为:

(2-1-2)

所谓最小二乘法，就是选择a和b使Q(a,b)最小，即用最小二乘法得到的回归直线是在所有直线中与测量值残差平方和Q最小的一条。由(2-1-2)式可知Q是关于a,b的二次函数，所以它的最小值总是存在的。下面讨论的a和b的求法。

三、正规方程组

根据微分中求极值的方法可知，Q(a,b)取得最小值应满足

(2-1-3)

由(2-1-2)式，并考虑上述条件，则

(2-1-4)

(2-1-4)式称为正规方程组。解这一方程组可得

(2-1-5)

其中

(2-1-6)

(2-1-7)

式中，L_xy称为xy的协方差之和，L_xx称为x的平方差之和。

如果改写(2-1-1)式，可得

(2-1-8)

或

(2-1-9)

由此可见，回归直线是通过点的，即通过由所有实验测量值的平均值组成的点。从力学观点看，即是N个散点的重心位置。

现在我们来建立关于例1的回归关系式。将表2-1-1的结果代入(2-1-5)式至(2-1-7)式，得出

a=1231.65

b=-2236.63

因此，在例1中灰铸铁初生奥氏体析出温度(y)与氮含量(x)的回归关系式为

y=1231.65-2236.63x

四、一元线性回归的统计学原理

如果X和Y都是相关的随机变量，在确定x的条件下，对应的y值并不确定，而是形成一个分布。当X取确定的值时，Y的数学期望值也就确定了，因此Y的数学期望是x的函数，即

E(Y|_X=x)=f(x) (2-1-10)

这里方程f(x)称为Y对X的回归方程。如果回归方程是线性的，则

E(Y|_X=x)=α+βx (2-1-11)

或

Y=α+βx+ε (2-1-12)

其中

ε―随机误差

从样本中我们只能得到关于特征数的估计，并不能精确地求出特征数。因此只能用f(x)的估计式来取代（2-1-11）式，用参数a和b分别作为α和β的估计量。那么，这两个估计量是否能够满足要求呢？

1. 无偏性

把(x,y)的n组观测值作为一个样本，由样本只能得到总体参数α和β的估计值。可以证明，当满足下列条件：

(1)(x_i,y_i)是n个相互独立的观测值

(2)ε_i是服从分布的随机变量

则由最小二乘法得到的a与b分别是总体参数α和β的无偏估计，即

E(a)= α

E(b)=β

由此可推知

E( )=E(y)

即y是回归值在某点的数学期望值。

2. a和b的方差

可以证明，当n组观测值(x_i,y_i)相互独立，并且D(y_i)=σ^2,时，a和b的方差为

(2-1-13)

(2-1-14)

以上两式表明，a和b的方差均与x_i的变动有关，x_i分布越宽，则a和b的方差越小。另外a的方差还与观测点的数量有关，数据越多，a的方差越小。因此，为提高估计量的准确性，x_i的分布应尽量宽，观测点数量应尽量多。

一元线性回归方程的建立相关推荐

一元线性回归方程的参数估计
这篇文章详细推导了一元线性回归方程的参数解,供新手朋友参考. 假定一元线性回归方程的具体形式为 y=a+bx(1)y=a+bx \tag{1} y=a+bx(1) 现在,为确定参数a,ba,b ...
matlab一元二次回归,MATLAB一元线性回归方程的计算及检验.doc
MATLAB一元线性回归方程的计算及检验 1. 从input语句键盘输入一组数据(xi,yi),i=1,2,-n. 2. 计算一元线性回归方程y=ax+b的系数a和b,用两种方法计算: 一是公式:: ...
从统计学看线性回归（2）——一元线性回归方程的显著性检验
目录 1. σ2 的估计 2. 回归方程的显著性检验 t 检验(回归系数的检验) F 检验(回归方程的检验) 相关系数的显著性检验样本决定系数三种检验的关系一.σ2 的估计因为假设检验以及构 ...
一元线性回归分析一和相关数学知识的定义
一元线性回归定义一元线性回归分析预测法,是根据自变量x和因变量Y的相关关系,建立X与Y的线性回归方程进行预测的方法.由于市场现象一般是受多种因素的影响,而并不是仅仅受一个因素的影响.所以应用一元线性 ...
matlab怎么建立一元线性回归方程,MATLAB实现一元线性回归的多种方式
1.引言回归分析,是对现有数据进行处理.从中发现有用信息的一种重要手段.而线性回归,特别是一元线性回归分析更是人们优先考虑采用的方式.基于此,本文就一元线性回归的MATLAB实现作了一番探讨,给出了多 ...
（一）一元线性回归方程梯度下降
学习目标: I. 理解一元线性回归 II. 学会用 "梯度下降法 " 和 "相关系数法"求解线性模型 II ...
R假设检验与一元线性回归分析
假设检验相关系数 cor(x,y) cor.test(x,y) 相关系数越接近1,x与y越相关 > data("iris") > plot(iris) > ...
一元线性回归分析的R语言实现（RStudio）
简介回归分析是一种应用广泛的数理统计方法,它是研究变量与变量之间的相关关系,这种关系大致分为两类:确定性关系(能用函数精确描述)和非确定性关系(不能用函数描述). 变量间的非确定性关系称为相关关系. ...
一元线性回归分析与建模
一元线性回归分析一元回归分析的基本概念回归模型的建立一般包括: (1)通过某事物现,转化为具体问题: (2)确定指标变量,收集整理数据,并构建模型进行参数估计: (3)模型的检验,当模型检验不通过 ...

一元线性回归方程的建立

一元线性回归方程的建立相关推荐

最新文章

热门文章