普通最小二乘法的推导证明
最小二乘法
1、什么是最小二乘思想?
简单地说,最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近(在古汉语中“平方”称为“二乘”),“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。从这个上也可以看出,最小二乘也可用于拟合数据模型。
2. 最小二乘法推导
我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢? 监督学习中,如果预测的变量是离散的,我们称其为分类(如决策树,支持向量机等),如果预测的变量是连续的,我们称其为回归。回归分析中,如果只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。对于二维空间线性是一条直线;对于三维空间线性是一个平面,对于多维空间线性是一个超平面…
对于一元线性回归模型, 假设从总体中获取了 nnn 组观察值 (X1,Y1)" role="presentation">(X1,Y1)(X1,Y1)(X_1,Y_1),(X2,Y2)(X2,Y2)(X_2,Y_2),
…,(Xn,Yn)(Xn,Yn)(X_n,Y_n)。对于平面中的这 nnn 个点,可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看,这条直线处于样本数据的中心位置最合理。
选择最佳拟合曲线的标准可以确定为:使总的拟合误差(即总残差)达到最小。有以下三个标准可以选择:
(1)用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。
(2)用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。
(3)最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外,得到的估计量还具有优良特性。这种方法对异常值非常敏感。
最常用的是普通最小二乘法( Ordinary Least Square,OLS):所选择的回归模型应该使所有观察值的残差平方和达到最小。
公式推导
1 拟合直线:y=a+bx" role="presentation">y=a+bxy=a+bxy = a + bx
2 有任意观察点 (xi,yi)(xi,yi)(x_i, y_i)
3 误差为 di=yi−(a+bxi)di=yi−(a+bxi)d_i = y_i - (a + bx_i)
4 当 D=∑ni=1d2i=0D=∑i=1ndi2=0D=\sum_{i=1}^n d_i^2 = 0 取值最小时,直线拟合度最高。
5 D=∑ni=1d2i=∑ni=1(yi−a−bxi)2D=∑i=1ndi2=∑i=1n(yi−a−bxi)2D = \sum_{i=1}^n d_i^2 = \sum_{i=1}^n(y_i -a - bx_i)^2, 对 a,ba,ba, b 分别求一阶偏导:
\frac{\partial D}{\partial a} = \sum_{i=1}^n2(y_i -a -bx_i)*(-1)
\frac{\partial D}{\partial b} = 2\sum_{i=1}^n(y_i -a -bx_i)(-x_i) \\ = -2(\sum_{i=1}^n x_iy_i -a\sum_{i=1}^nx_i -b\sum_{i=1}^nx_i^2)
求和性质
求和性质,具体可以参考Introductory Econometrics A Modern Approach (Fourth Edition) 一书(计量经济学导论,第4版,杰弗里·M·伍德里奇 著)的附录A。
一般形式
有了上述推导证明,普通最小二乘法一般形式可以写成(字母盖小帽表示估计值,具体参考应用概率统计):
y=β1x+β0y=β1x+β0y = \beta_1 x + \beta_0 的普通最小二乘解为:
多元线性回归
最小二乘法和梯度下降法有哪些区别?
最小二乘法的目标:求误差的最小平方和,对应有两种:线性和非线性。线性最小二乘的解是closed-form即 x=(ATA)−1ATbx=(ATA)−1ATbx=(A^TA)^{-1}A^Tb,而非线性最小二乘没有closed-form(即 (ATA)(ATA)(A^TA)没有可逆矩阵),通常用迭代法求解。
迭代法,即在每一步update未知量逐渐逼近解,可以用于各种各样的问题(包括最小二乘),比如求的不是误差的最小平方和而是最小立方和。
梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。高斯-牛顿法是另一种经常用于求解非线性最小二乘的迭代法(一定程度上可视为标准非线性最小二乘求解方法)。
还有一种叫做Levenberg-Marquardt的迭代法用于求解非线性最小二乘问题,就结合了梯度下降和高斯-牛顿法。
所以如果把最小二乘看做是优化问题的话,那么梯度下降是求解方法的一种,x=(ATA)−1ATbx=(ATA)−1ATbx=(A^TA)^{-1}A^Tb是求解线性最小二乘的一种,高斯-牛顿法和Levenberg-Marquardt则能用于求解非线性最小二乘。
莱文贝格-马夸特方法(Levenberg–Marquardt algorithm)能提供数非线性最小化(局部最小)的数值解。此算法能借由执行时修改参数达到结合高斯-牛顿算法以及梯度下降法的优点,并对两者之不足作改善(比如高斯-牛顿算法之反矩阵不存在或是初始值离局部极小值太远)
然后Levenberg-Marquardt方法的好处就是在于可以调节:
如果下降太快,使用较小的λ,使之更接近高斯牛顿法
如果下降太慢,使用较大的λ,使之更接近梯度下降法
普通最小二乘法的推导证明相关推荐
- 最小二乘法(多元)推导
最小二乘法(多元)推导 1 声明 本文的数据来自网络,部分代码也有所参照,这里做了注释和延伸,旨在技术交流,如有冒犯之处请联系博主及时处理. 2 最小二乘法简介 最小二乘法是一种优化的方法,它主要是通 ...
- 最小二乘法(一元)推导
最小二乘法(一元)推导 1 声明 本文的数据来自网络,部分代码也有所参照,这里做了注释和延伸,旨在技术交流,如有冒犯之处请联系博主及时处理. 2 最小二乘法简介 最小二乘法是一种优化的方法,它主要是通 ...
- [机器学习-回归算法]一元线性回归用最小二乘法的推导过程
一元线性回归用最小二乘法的推导过程 在数据的统计分析中,数据之间即变量x与Y之间的相关性研究非常重要,通过在直角坐标系中做散点图的方式我们会发现很多统计数据近似一条直线,它们之间或者正相关或者负相关. ...
- 【寒假每日一题】剪绳子(个人练习)详细题解+推导证明(第六天)
文章目录 前言 题目 详细题解 写法1 O(nlogn)O(nlogn)O(nlogn) 推导证明 举一反三 总结 前言 今天终于出核酸检测的结果,还好大家都没事,不然怕是要封城了!!! 今天还是寒假 ...
- 【寒假每日一题】分巧克力(个人练习)详细题解+推导证明(第八天)附带转载程序员壁纸
文章目录 前言 题目 详细题解 写法1 O(nlogn)O(nlogn)O(nlogn) 推导证明 举一反三 总结 前言 话说今天开始准备搞一个秋招的GitHub,算是复习一遍了. 今天还是寒假每日一 ...
- 递推最小二乘法的推导和理解
递推最小二乘法的推导和理解 最小二乘法 快速回顾最小二乘法的推导 建立误差平方 将其最小化 一种对最小二乘法理解的视角 递推最小二乘法 在线实时预测问题 推导思路与详细过程 将k时刻的表达式写成k-1 ...
- 【寒假每日一题】十三号星期五(个人练习)详细题解+推导证明(第十三天)
文章目录 前言 题目 详细题解 写法1 O(n)O(n)O(n) 推导证明 举一反三 总结 前言 这一周的题,真的是很扎实的基础题. 今天的题目是来自usaco training 1.2. 最近在家呆 ...
- 斐波那契数列通项公式的推导证明----举一反三
斐波那契数列通项公式的推导证明----举一反三 1-前言 2-斐波那契 2-1-什么是斐波那契 2-2-通项公式的证明 2-3-举一反三 1-前言 2021年5月20号的那天,有对象的都忙着约会秀恩爱 ...
- 【寒假每日一题】数字三角形(个人练习)详细题解+推导证明(第二天)
文章目录 前言 题目 详细题解 写法1 O ( n 2 ) O(n^2) O(n2) 推导证明 写法2 O ( n 2 ) O(n^2) O(n2) 推导证明 举一反三 总结 前言 昨天真是人生中奇葩 ...
最新文章
- 在Photoshop扣图的基本方法
- 005_Java操作ZooKeeper
- 搜索 | 电商行业模版驱动业务增长实践
- 推荐40个简单的 jQuery 导航插件和教程【下篇】
- java自动依照日期建表,脚本根据一个表中的日期字段填充每月汇总表
- 深入浅出强化学习_直播 | 深入浅出理解 A3C 强化学习
- P8U8 IT这块出书门槛相对比较低
- 软件测试用例的优点和缺点,浅析黑盒测试和白盒测试各自的优缺点
- Mybatis_day4_Mybatis的缓存
- bilibili解析接口_仿最新BiliBili客户端(已开源)
- char和char*
- 并发编程学习之AQS抽象队列同步器
- 使用verilog实现4选1数据选择器的几种方法
- 虚拟机安装CentOS系统详细步骤。
- 领域驱动设计系列贫血模型和充血模型
- MySQL 日期时间加减
- 医保卡不用填写也可以报销的医院(A类定点医疗机构)
- 手机任务栏html,任务栏是什么
- 基于51单片机远近光灯切换电路设计方案
- sd和sem啥区别_生物统计学-标准差(SD)和标准误(SEM)有何区别.pdf
热门文章
- “更新 TKK 失败,请检查网络连接” 解决方法
- Client network socket disconnected before secure TLS connection was established
- Mathmatica9 注册不了
- 怎样用自己电脑做服务器供他人访问自己的网站
- 用mac原生的日历和automator,实现定时发微信
- w ndows10装什么浏览器,Windows10系统默认启用IE浏览器方法
- Java面试题(二)JMM,volatile,CAS
- android电商平台,基于Android的电商平台通用客户端的设计与实现
- 绑定美版office365密钥_美版Microsoft/微软Office 365个人版怎么激活?
- Excel功能及实现