普通最小二乘法的两种推导方法

2024-05-26 08:55:12

对于一个简单的线性回归模型，其形式为 $y=\beta_0+\beta_1x+u$

其中 $x$ 是因变量， $y$ 是自变量， $u$ 表示出了 $x$ 之外其他可能影响 $y$ 的因素。我们要用这个模型来寻找在其他因素 $u$ 不变的情况下， $x$ 对 $y$ 的影响大小 $\beta_1$ ，也就是说，在 $\Delta u=0$ 的情况下

$\Delta y=\beta _0\Delta x$

这个线性公式表明不管 $x$ 的初值是多少，它的任何一个单位的变化对 $y$ 的影响都是相同的，这和很多经济学上的边际递增或者边际递减都是不符合的，这个问题之后再讨论。

今天我们怎样估算出最准确的 $\beta _0, \beta _1$ 呢，我门有两个方法：

第一种是利用两个假定推出
第二种是利用残差的最小平方和最小

那么我们要做出怎样的假定，才能估算出最准确的 $\beta _0, \beta _1$ 呢？

首先，我们要保证

$E(u)=0$

其实这个假定并不是特别的强，因为只要截距 $\beta _0$ 被包含在等式之中，假设总体中 $E(u)=0$ 就不会失掉什么。

其次要保证，因素 $u$ 和 $x$ 之间不相关，也就是

$E(u|x)=0$ 或者说是 $Cov(x, u)=E(x\cdot u)=0$

举一个例子，假设 $x$ 是受教育的年数， $y$ 是工资水平， $u$ 是影响工资水平的其他因素，这里是天生能力，如果受过8年教育的人的天生能力和受过16年教育的人的天生能力一样的话，那么就说明天生能力和受教育年数不相关，它们独立影响工资水平。如果天生能力越强的人受到的教育越多，那么这个假定则不成立。

对于给定的样本 $(x_i, y_i), i=1,2...n$

$y_i=\beta _0+\beta _1x_i+u_i$

对于所有的 $i$ 都成立，其中 $u_i$ 是第 $i$ 次观察的误差项，包含了出了自变量之外的所有其他变量

根据 $y_i=\beta _0+\beta _1x_i+u_i$ ，就可以把 $E(u)=0$ 和 $E(u|x)=0$ 改写成为

$\frac{1}{n}\sum_{i=1}^{n}{(y_i-\beta_0-\beta_1x_i})=0$

$\frac{1}{n}\sum_{i=1}^{n}{x_i(y_i-\beta_0-\beta_1x_i})=0$

根据以上两个假设，我们就可以推导出最小二乘法的两个结果

$\beta_1=\frac{\sum_{i}^{n}{(x-x_i)(y-y_i)} }{\sum_{i}^{n}{(x-x_i)^2} } =\frac{Cov(x, y)}{Var(x)}$

$\beta _0=\bar{y}- \beta _1\bar{x}$

这里要强调，x和y回归的beta值，和两者之间的相关系数并不一样，相关系数等于

$corr(x,y)=\frac{Cov(x,y)}{\sqrt{Var(x)Var(y)}}$

当然，这个也可以利用残差的平方和推导出

$Min(\sum_{i=1}^{n}{(y_i-\beta_0-\beta_1x_i})^2)$

为了使得残差的平方和最小，使得此公式对 $\beta_0, \beta_1$ 的偏导为0，可以和前面得到相同的公式

$\sum_{i=1}^{n}{(y_i-\beta_0-\beta_1x_i})=0$

$\sum_{i=1}^{n}{x_i(y_i-\beta_0-\beta_1x_i})=0$

同样可以得到对 $\beta_0, \beta_1$ 的合理估计

欢迎大家关注公众号“创小董”我会继续分享更多更真实的创业经历、经验、解决办法。

普通最小二乘法的两种推导方法相关推荐

matlab设计降维状态观测器,降维状态观测器的两种设计方法及算例
第 17卷第 3期 2005年 6月军械工程学院学报 Journal of Ordnance Engineering College Vo1．17 No．3 Jun．,2005 文章编 ...
快速排序的两种实现方法(c语言版本)
经过调研发现,对任意无序整数数组,快速排序有两种实现方法,这里简单阐述下思路: 思路一:随意选择一个基准元,一般选择数组的起始元或末尾元,Weiss这本书上特意搞了个算法来选择基准元,--,总之就是基 ...
R语言生存分析COX回归分析实战:两种治疗方法发生肾功能损害的情况
R语言生存分析COX回归分析实战:两种治疗方法发生肾功能损害的情况目录
mysql workbench kernelbase.dll_电脑出现kernelbase.dll错误的两种解决方法
KernelBase.dll是Windows操作系统的重要文件,它为各种应用程序提供服务.如果电脑提示kernelbase.dll错误,这该怎么处理?大家可以用电脑自带的防火墙或者是第三方软件来进行故 ...
使用定制的NSDictionary的方法，对NSArray进行排序(附：数组排序两种常见方法)
NSArray中存放的是NSDictionary,可以使用策略的方法对NSDictionary进行定制,增加比较的方法.然后调用NSArray的sortUsingSelector方法对数组进行排序,这 ...
Ext.Ajax.request和formPanel.getForm().submit()两种提交方法的异同：
Ext.Ajax.request和formPanel.getForm().submit()两种提交方法的异同: 1. 相同点: a) 都是使用异步提交的方式: b) 默认都是使用POST方式来提交数据 ...
java代码二进制转为十六进制_Java 中二进制转换成十六进制的两种实现方法
Java 中二进制转换成十六进制的两种实现方法每个字节转成16进制,方法1 /** * 每个字节转成16进制,方法1 * * @param result */ private static Stri ...
python ioc di_Spring介绍，IOC（控制反转），DI（依赖注入）介绍及两种注入方法
Spring介绍,IOC(控制反转),DI(依赖注入)介绍及两种注入方法第一中方法:在xml文件中注入: (1)开源的轻量级的应用开发框架特点:a.简化开发:b.解耦:c.集成: 原理对象与对象之 ...
Json返回时间中出现乱码问题的两种解决方法
Json返回时间中出现乱码问题的两种解决方法参考文章: (1)Json返回时间中出现乱码问题的两种解决方法 (2)https://www.cnblogs.com/hanyinglong/archiv ...

最新文章

热门文章