最小二乘法,了解一下?
摘要:最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。最小二乘很简单,也在业界得到了广泛使用。
本文分享自华为云社区《最小二乘法介绍》,作者:Yan 。
最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。最小二乘很简单,也在业界得到了广泛使用。
但是对于最小二乘法和它的故事,也许很多人并不了解,今天给大家做一下分享。
1801年,意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后,由于谷神星运行至太阳背后,使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星,但是根据大多数人计算的结果来寻找谷神星都没有结果。
时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。
高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中,而法国科学家勒让德于1806年独立发现“最小二乘法”,但因不为世人所知而默默无闻。
为了方便大家理解最小二乘法,给大家讲个故事。
假设身高是变量X,体重是变量Y,我们都知道身高与体重有比较直接的关系。生活经验告诉我们:一般身高比较高的人,体重也会比较大。但是这只是我们直观的感受,只是很粗略的定性的分析。
在数学世界里,我们大部分时候需要进行严格的定量计算:能不能根据一个人的身高,通过一个式子就能计算出他或者她的标准体重?
我们可以采样一批人的身高体重数据, (x1,y1),(x2,y2),⋯,(xn,yn),其中x是身高,y是体重。
生活常识告诉我们:身高与体重是一个近似的线性关系,用最简单的数学语言来描述就是y = \beta_0+\beta_1xy=β0+β1x。
于是,接下来的任务就变成:怎么求出这个β0与β1呢?
为了计算β0,β1的值,我们采取如下规则:β0,β1应该使计算出来的函数曲线与观察值的差的平方和最小。用数学公式描述就是:
其中,y_{ie}yie表示根据y=\beta_0 + \beta_1xy=β0+β1x估算出来的值,y_iyi是观察得到的真实值。
这样,样本的回归模型很容易得出:
现在需要确定β0、β1,使cost function最小。大家很容易想到,对该函数求导即可找到最小值:
将这两个方程整理后使用克莱姆法则,很容易求解得出:
根据这个公式,只需要将样本都带入就可以求解出相应的参数。
如果我们推广到更一般的情况,假如有更多的模型变量x1,x2,⋯,xm(注意:x_1x1是指 一个样本,x1是指样本里的一个模型相关的变量),可以用线性函数表示如下:
y(x1,⋯,xm;β0,⋯,βm)=β0+β1x1+⋯+βmxm
对于n个样本来说,可以用如下线性方程组表示:
如果将样本矩阵x_i^hxih记为矩阵A,将参数矩阵记为向量\betaβ,真实值记为向量Y,上述线性方程组可以表示为:
即A \beta = YAβ=Y
对于最小二乘来说,最终的矩阵表达形式可以表示为:
min∣∣Aβ−Y∣∣2
最后的最优解为:
β=(ATA)−1ATY
2021华为云 AI 实战营——华为云员工都在学的AI实战营,快来报名免费学习吧~
点击关注,第一时间了解华为云新鲜技术~
最小二乘法,了解一下?相关推荐
- 机器学习(11)线性回归(1)理论:损失函数(含最小二乘法)、正规方程、梯度下降、回归性能评估(均方差)
目录 一.线性回归基础理论 1.定义与公式 2.线性关系(单特征与双特征) 2-1.单特征线性关系 2-2.双特征平面关系 2-3.其他线性模型 二.线性回归的损失和优化原理 1.损失函数 1.定义 ...
- 利用最小二乘法求解仿射变换参数
仿射变换的定义 仿射变换(Affine Transformation或 Affine Map),是指在几何中,一个向量空间进行一次线性变换并接上一个平移,变换为另一个向量空间. 仿射变换可以由以下基本 ...
- 在图像变换中用最小二乘法求解仿射变换参数
设原图像为f(x,y),畸变后的图像为F(X',Y'),要将F(X',Y')恢复为f(x,y),就是要找到(X',Y')坐标与(x,y)坐标的转换关系,这个转换关系称为坐标变换,表示为(x,y)=T( ...
- 最小二乘法的本质是什么?
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文转自:深度学习与计算机视觉 作者:梨梨喵 https://ww ...
- matlab最小二乘法参数辨识,基于最小二乘法的MATLAB辨识仿真实验
<工业控制计算机>2013 年第 26 卷第 7 期基于最小二乘法的 MATLAB 辨识仿真实验 崔秀美 刘文杰 陈 澄 (苏州大学机电工程学院,江苏 苏州 215021) Experim ...
- 3D曲面重建之移动最小二乘法
本文我们思考这样一个问题:如何在一组逐点值的给定域上估计该域的一般函数? 这种估计对于给定域上PDE数值的求解,根据扫描数据进行表面重建,或者理解采集到数据的数据结构都有所帮助.下面介绍几种常见的最小 ...
- 最小二乘法、迭代优化、坐标轴下降法(Coordinate Descent, CD)、坐标下降和梯度下降对比、梯度下降法/最速下降法
最小二乘法.迭代优化.坐标轴下降法(Coordinate Descent, CD).坐标下降和梯度下降对比.梯度下降法/最速下降法 目录
- 最小二乘法+牛顿法+拟牛顿法+梯度下降法+梯度上升法+共轭梯度法
最小二乘法+牛顿法+拟牛顿法+梯度下降法+梯度上升法+共轭梯度法 最小二乘法+牛顿法+拟牛顿法+梯度下降法+梯度上升法+共轭梯度法 上述几种方法,除了最小二乘法是直接使用公式取得之外,另外几种方法都是 ...
- 最小二乘法MSE 梯度下降法
为什么要比较这两种方法呢?很多人可能不知道,我先简单的介绍一下 机器学习有两种,一种是监督学习,另一种是非监督学习.监督学习就是我告诉计算机你把班上同学分个类,分类标准是按照性别,男生和女生:非监督分 ...
- 卡尔曼滤波(kalman)相关理论以及与HMM、最小二乘法关系 转
卡尔曼滤波(kalman)相关理论以及与HMM.最小二乘法关系_weixin_30527143的博客-CSDN博客
最新文章
- visual studio code跳转到定义处插件
- 计算机死机的重启方法,使用“紧急重启”功能让电脑重启,解决电脑死机!
- halcon基本,vb,vc连接halcon读取图像,视频
- 试编写算法,设任意n个整数存放于数组A[1...n]中,将所有正数排在所有负数前面(要求:算法时间复杂度为O(n))
- jedis使用_Redis的三个框架:Jedis,Redisson,Lettuce
- Oracle存储过程单步调试方法
- 点触科技:构建实时计算和数据仓库解决方案
- numpy.random模块常用函数
- 七人のオンラインゲーマーズ 全年龄正式汉化补丁
- Mysql数据备份与mysqldump增量备份
- hdu Train Problem I
- 《白话强化学习与PyTorch》第1章 强化学习是什么----读书笔记
- koa-body koa2 使用 koa-body 代替 koa-bodyparser 和 koa-multer
- Win10系统键盘正常但不能输入
- 利用注册表更改文件默认打开方式及图标
- Ubuntu-samba服务器的搭建
- 有什么好的学编程的网站或者是软件?『编程入门』?
- 八、基于多源数据建成区提取——Landsat数据大气校正
- 英语感叹句的构成规则
- 矩阵矩阵的维度矩阵按某一维度进行拼接