笔记：无截距项的一元回归模型

考虑
Yi=β1Xi+μiY_i=\beta_1X_i+\mu_iYi=β1Xi+μi

β1\beta_1β1的两个不同估计值
由样本回归模型得到两个正规方程：
∑(Yi−β~1Xi)=0(1)∑(Yi−β^1Xi)Xi=0(2)\sum(Y_i-\tilde\beta_1 X_i)=0\ \quad(1)\\ \sum(Y_i-\hat \beta_1 X_i)Xi=0\quad (2)∑(Yi−β~1Xi)=0 (1)∑(Yi−β^1Xi)Xi=0(2)
对于(1):
∑Yi=β~1Xiβ~1=Y‾X‾\sum Y_i=\tilde\beta_1 X_i \\ \tilde \beta_1=\frac{\overline Y}{\overline X}∑Yi=β~1Xiβ~1=XY
对于(2):
∑XiYi=β^1∑Xi2β^1=∑XiYi∑Xi2\sum X_i Y_i=\hat \beta_1\sum X_i^2 \\\quad \\\hat \beta_1=\frac{\sum X_iY_i}{\sum X_i^2}∑XiYi=β^1∑Xi2β^1=∑Xi2∑XiYi
无偏估计量
上面两个不同估计量都是无偏估计量。证明如下。
E(β~1)=E(Y‾X‾)=E(β1X‾+μ‾X‾)=β1+E(μ‾X‾)=β1+1X‾E(1n∑μi)=β1+1nX‾∑E(μi)=β1E(\tilde \beta_1)=E(\frac{\overline Y}{\overline X})=E(\frac{\beta_1 \overline X +\overline \mu}{\overline X})=\beta_1+E(\frac{\overline \mu}{\overline X})\\\quad \\=\beta_1+\frac{1}{\overline X}E(\frac{1}{n}\sum \mu_i)=\beta_1+\frac{1}{n\overline X}\sum E(\mu_i)=\beta_1E(β~1)=E(XY)=E(Xβ1X+μ)=β1+E(Xμ)=β1+X1E(n1∑μi)=β1+nX1∑E(μi)=β1
E(β^1)=E(∑XiYi∑Xi2)=1∑Xi2∑XiE(β1Xi+μi)=β1+∑XiE(μi)∑Xi2=β1E(\hat \beta_1)=E(\frac{\sum X_iY_i}{\sum X_i^2})=\frac{1}{\sum X_i^2}\sum X_i E(\beta_1X_i+\mu_i)\\\quad \\ =\beta_1+\frac{\sum X_iE(\mu_i) }{\sum X_i^2}=\beta_1E(β^1)=E(∑Xi2∑XiYi)=∑Xi21∑XiE(β1Xi+μi)=β1+∑Xi2∑XiE(μi)=β1
经过(X‾,Y‾)(\overline X,\overline Y)(X,Y)吗？
显然拟合线Y~=β~X\tilde Y=\tilde \beta XY~=β~X经过(X‾,Y‾)(\overline X,\overline Y)(X,Y)。
要想拟合线Y^=β^1X\hat Y=\hat \beta_1 XY^=β^1X经过(X‾,Y‾)(\overline X,\overline Y)(X,Y)，那么β^1X‾\hat \beta_1 \overline Xβ^1X必须等于Y‾\overline YY,但
β^1X‾=∑XiYi∑Xi2X‾\hat \beta_1 \overline X=\frac{\sum X_iY_i}{\sum X_i^2}\overline Xβ^1X=∑Xi2∑XiYiX
通常不等于Y‾\overline YY。
其中只有β^1\hat \beta_1β^1是OLS估计量
OLS就是要残差平方和最小：
MinRSS=∑ei2=∑(Yi−β^1Xi)2\rm {Min} \quad RSS=\sum e_i^2=\sum (Y_i-\hat \beta_1X_i)^2MinRSS=∑ei2=∑(Yi−β^1Xi)2
FOC:
∂RSS∂β^1=2∑(Yi−β^1Xi)(−Xi)=0\frac{\partial RSS}{\partial \hat \beta_1}=2\sum(Y_i-\hat \beta_1X_i)(-X_i)=0∂β^1∂RSS=2∑(Yi−β^1Xi)(−Xi)=0
这与β^1\hat \beta_1β^1的正规方程（2）一致。

笔记：无截距项的一元回归模型相关推荐

ewiews面板回归模型操作_EViews操作指南:eviews面板数据回归分析
计量经济学实验指导书实验一 EViews软件的基本操作 [实验目的] 了解EViews软件的基本功能,掌握软件的基本操作. [实验内容] 一.EViews软件的安装: 二.数据的输入与编辑: 三. ...
计量经济学-简单的一元线性回归模型之一
一元回归模型回归分析和相关分析之间的差别相关分析研究的是变量之间的线性相关性,而回归分析要研究的是解释变量和被解释变量之间的平均关系.相关分析中,变量都是随机变量:而回归分析中,解释变量是确定的, ...
怎么用python进行回归预测_使用Python训练回归模型并进行预测
摘要:本篇文章将介绍在python中使用机器学习库sklearn建立简单回归模型的过程. 回归分析是一种常见的统计方法,用于确定不同变量间的相互关系.在Excel中可以通过数据分析菜单中的回归功能快速 ...
简单数据预测—使用Python训练回归模型并进行预测（转自蓝鲸网站分析博客）
使用Python训练回归模型并进行预测回归分析是一种常见的统计方法,用于确定不同变量间的相互关系.在Excel中可以通过数据分析菜单中的回归功能快速完成.本篇文章将介绍在python中使用机器 ...
Logistics回归模型
二分类资料logistics回归: 因变量为二分类变量的资料(一般为0,1分类),可用非条件logistics回归和条件logistics回归进行分析.非条件logistics回归多用于非配比研究资料 ...
一元线性回归模型（保姆级）
提示:本文是基于最小二乘法对数据进行拟合. 目录一.模型建立的流程二.模型原理 1.模型 2.参数编辑和编辑的估计三.回归方程的显著性检验 1.t检验 2.F检验 3.相关系数的显著检验 ...
回归模型中截距项的意义_中级经济师考试回归模型
回归,回归到哪里?它与相关的差别在哪里?大家先回想一下这个问题! 回归,回归的是事物的本质 . 回归分析就是根据相关关系的具体形态,选择一个合适的数学模型 ,来近似的表达变量间的依赖关系 . 回归 ...
《计量经济学》学习笔记之一元线性回归模型
注意:本笔记以文字概括为主,公式为辅,问为啥,因为贴图片和打公式对于我来说,太烦啦~所以,就只把每个章节里觉得重要的一些概念记下来. 书籍:<计量经济学(第三版)>–李子奈导航下一章: ...
数据分析4——挖掘建模（监督学习中的分类、回归模型，无监督学习）
文章目录挖掘建模 1.机器学习与建模 2.训练集.测试集.验证集 3.监督学习中的分类模型 (1)KNN (2)朴素贝叶斯--适合离散数据 (3)生成模型与判别模型 (4)决策树安装Graphvi ...

笔记：无截距项的一元回归模型

笔记：无截距项的一元回归模型相关推荐

最新文章

热门文章