一元线性回归方程的参数估计

这篇文章详细推导了一元线性回归方程的参数解，供新手朋友参考。
假定一元线性回归方程的具体形式为
y=a+bx(1)y=a+bx \tag{1} y=a+bx(1)
现在，为确定参数a,ba,ba,b进行了nnn次观测，观测结果为：
i123⋯nxx1x2x3⋯xnyy1y2y3⋯yn\begin{array}{c|ccccc} i & \text{1} & \text{2} & \text{3} & \cdots & \text{n} \\ \hline x & x_1 & x_2 & x_3 & \cdots & x_n\\ y & y_1 & y_2 & y_3 & \cdots & y_n \\ \end{array} ixy1x1y12x2y23x3y3⋯⋯⋯nxnyn
参数估计即从这nnn组数据中解出a,ba,ba,b。由于观测不可避免的带有误差（观测仪器、人为或环境因素引起），故nnn组方程
{y1=a+bx1y2=a+bx2⋮yn=a+bxn(2)\left\{ \begin{array}{c} y_1=a+bx_1 \\ y_2=a+bx_2 \\ \vdots \\ y_n=a+bx_n \\ \end{array} \right. \tag{2} ⎩⎪⎪⎪⎨⎪⎪⎪⎧y1=a+bx1y2=a+bx2⋮yn=a+bxn(2)
不相容（为矛盾方程组）。为消除矛盾并确定a,ba,ba,b的最佳估值，可采用最小二乘法来求解，目标函数为
Q=∑i=1n(yi−a−bxi)2=min(3)Q=\sum_{i=1}^n \left ( y_i-a-bx_i \right ) ^2 = min \tag{3} Q=i=1∑n(yi−a−bxi)2=min(3)
由于 QQQ是关于a,ba,ba,b的凸函数（《南瓜书》），根据凸函数极值特性，可知在∂Q∂a=0\frac{ \partial Q}{\partial a}=0∂a∂Q=0与∂Q∂b=0\frac{ \partial Q}{\partial b}=0∂b∂Q=0对应的a,ba,ba,b处取得极小值（最小值）。
QQQ关于a,ba,ba,b的偏导数如下
∂Q∂a=∑i=1n2(yi−a−bxi)⋅(−1)=2∑i=1n(a+bxi−yi)(4)\frac{\partial Q}{\partial a}=\sum_{i=1}^n 2 \left (y_i-a-bx_i \right )\cdot(-1) =2 \sum_{i=1}^n \left (a+bx_i-y_i \right ) \tag{4} ∂a∂Q=i=1∑n2(yi−a−bxi)⋅(−1)=2i=1∑n(a+bxi−yi)(4)
∂Q∂b=∑i=1n2(yi−a−bxi)⋅(−xi)=2∑i=1nxi(a+bxi−yi)(5)\frac{\partial Q}{\partial b}=\sum_{i=1}^n 2 \left (y_i-a-bx_i \right )\cdot(-x_i) =2 \sum_{i=1}^n x_i \left (a+bx_i-y_i \right ) \tag{5} ∂b∂Q=i=1∑n2(yi−a−bxi)⋅(−xi)=2i=1∑nxi(a+bxi−yi)(5)
当令(4)=0(4)=0(4)=0可得：
∑i=1n(a+bxi−yi)=0⟹na+b∑i=1nxi−∑i=1nyi=0⟹a=yˉ−bxˉ(6)\sum_{i=1}^n \left( a+bx_i-y_i \right)=0 \implies na+b\sum_{i=1}^nx_i- \sum_{i=1}^n y_i=0 \implies a=\bar{y}-b\bar{x} \tag{6} i=1∑n(a+bxi−yi)=0⟹na+bi=1∑nxi−i=1∑nyi=0⟹a=yˉ−bxˉ(6)
令(5)=0(5)=0(5)=0并代入式(6)(6)(6)可得：
∑i=1nxi(a+bxi−yi)=0⟹a∑i=1nxi+b∑i=1nxi2−∑i=1nxiyi=0⟹b=∑i=1n(xiyi−yˉxi)∑i=1n(xi2−xˉxi)(7)\sum_{i=1}^nx_i \left (a+bx_i-y_i \right )=0 \implies a\sum_{i=1}^n x_i +b\sum_{i=1}^n x_i^2 - \sum_{i=1}^n x_iy_i =0 \implies b=\frac{\sum_{i=1}^n \left(x_iy_i- \bar{y}x_i \right)}{\sum_{i=1}^n \left(x_i^2-\bar{x}x_i \right)} \tag{7} i=1∑nxi(a+bxi−yi)=0⟹ai=1∑nxi+bi=1∑nxi2−i=1∑nxiyi=0⟹b=∑i=1n(xi2−xˉxi)∑i=1n(xiyi−yˉxi)(7)
再顾及
∑i=1n(xi−xˉ)(yi−yˉ)=∑i=1n(xiyi−yˉxi)and∑i=1n(xi−xˉ)2=∑i=1n(xi2−xˉxi)\sum_{i=1}^n \left( x_i-\bar{x} \right) \left( y_i-\bar{y} \right)=\sum_{i=1}^n \left(x_iy_i- \bar{y}x_i \right) and \sum_{i=1}^n \left( x_i-\bar{x} \right)^2 =\sum_{i=1}^n \left( x_i^2-\bar{x}x_i \right) i=1∑n(xi−xˉ)(yi−yˉ)=i=1∑n(xiyi−yˉxi)andi=1∑n(xi−xˉ)2=i=1∑n(xi2−xˉxi)
则一元线性回归方程的参数解为：
b=∑i=1n(xi−xˉ)(yi−yˉ)∑i=1n(xi−xˉ)2(8)b=\frac{\sum_{i=1}^n \left( x_i-\bar{x} \right) \left( y_i-\bar{y} \right)}{\sum_{i=1}^n \left( x_i-\bar{x} \right)^2} \tag{8} b=∑i=1n(xi−xˉ)2∑i=1n(xi−xˉ)(yi−yˉ)(8)
a=yˉ−bxˉ(9)a=\bar{y}-b\bar{x} \tag{9} a=yˉ−bxˉ(9)
以上。

一元线性回归方程的参数估计相关推荐

matlab一元二次回归,MATLAB一元线性回归方程的计算及检验.doc
MATLAB一元线性回归方程的计算及检验 1. 从input语句键盘输入一组数据(xi,yi),i=1,2,-n. 2. 计算一元线性回归方程y=ax+b的系数a和b,用两种方法计算: 一是公式:: ...
从统计学看线性回归（2）——一元线性回归方程的显著性检验
目录 1. σ2 的估计 2. 回归方程的显著性检验 t 检验(回归系数的检验) F 检验(回归方程的检验) 相关系数的显著性检验样本决定系数三种检验的关系一.σ2 的估计因为假设检验以及构 ...
一元线性回归方程的建立
一元线性回归分析是处理两个变量之间关系的最简单模型,它所研究的对象是两个变量之间的线性相关关系.通过对这个模型的讨论,我们不仅可以掌握有关一元线性回归的知识,而且可以从中了解回归分析方法的基本思想.方 ...
一元线性回归分析一和相关数学知识的定义
一元线性回归定义一元线性回归分析预测法,是根据自变量x和因变量Y的相关关系,建立X与Y的线性回归方程进行预测的方法.由于市场现象一般是受多种因素的影响,而并不是仅仅受一个因素的影响.所以应用一元线性 ...
R假设检验与一元线性回归分析
假设检验相关系数 cor(x,y) cor.test(x,y) 相关系数越接近1,x与y越相关 > data("iris") > plot(iris) > ...
回归分析（二）—— 一元线性回归分析
主要内容回归分析概述一元线性回归分析多元线性回归逻辑回归其他回归分析二.一元线性回归分析 (一)一元线性回归方法随机误差反映了除x和y之间的线性关系之外的随机因素对y的影响. 分析预测房 ...
一元线性回归分析与建模
一元线性回归分析一元回归分析的基本概念回归模型的建立一般包括: (1)通过某事物现,转化为具体问题: (2)确定指标变量,收集整理数据,并构建模型进行参数估计: (3)模型的检验,当模型检验不通过 ...
线性回归用matlab怎么做,用matlab做一元线性回归分析
一元线性回归分析是在排除其他影响因素的假定其他影响因素确定的情况下,分析某一个因素(自变量)是如何影响另外一个事物(因变量)的过程,所进行的分析是比较理想化的. 用SPSS可以做一元线性回归分析,但是 ...
matlab一元线性回归分析_建模开讲：一元线性回归分析及SPSS软件实现
主讲内容:一元线性回归分析及SPSS软件实现主讲时间:2020年3月28日(周六)上午9:00 直播平台:腾讯课堂主讲人:么彩莲链接地址:点击下面的"阅读原文"可以获得直播地 ...

一元线性回归方程的参数估计

一元线性回归方程的参数估计相关推荐

最新文章

热门文章