线性回归之最小二乘法（高斯-马尔可夫定理）

背景：

1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。
高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。
法国科学家勒让德于1806年独立发明“最小二乘法”，但因不为世人所知而默默无闻。
勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。

1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-马尔可夫定理。

通俗概念：

当在实验中获得自变量与因变量的一系列对应数据,(x1,y1),(x2,y2),(x3,y3),...(xn,yn)时,要找出一个已知类型的函数,y=f(x) ,与之拟合,使得实际数据和理论曲线的离差平方和:∑[yi-f(xi)]^2（从i=1到i=n相加）为最小.这种求f(x)的方法，叫做最小二乘法。

代数公式：

一个小列子说明（一阶线性回归的经典用法）：
设有x1,x2,x3,x4.xn,有y1,y2,y3,y4...yn,
则b=((x1*y1+x2*y2.+xn*yn)-n*x的平均数*y的平均数)/((x1^2+x2^2.+xn^2)-nx的平均数的平方）

a=y-bx,其中y为y项的平均数x为x项中的平均数!

主要用途：

在软件的机器学习中使用的非常广泛以及在日常工业中使用的也非常广泛。

线性回归之最小二乘法（高斯-马尔可夫定理）相关推荐

ESL第三章回归的线性方法系数近似置信集/高斯-马尔可夫定理/正交化、最优子集/向前向后逐步选择/向前分段回归、参数有效数量/最小角回归、主成分/偏最小二乘、多输出收缩、其他L1和路径相关算法
(ESL把线性回归讲的非常丰富,真的开阔视野) 目录 3.2 线性回归模型的最小二乘法 3.2.2 高斯-马尔可夫定理 3.2.3 从简单单变量回归到多重回归 3.2.4 多输出 3.3 子集选择 3 ...
GM-MCMC高斯混合马尔科夫-蒙特卡洛算法线性地震反演
目录 1.算法概述 2.仿真效果 3.MATLAB仿真源码 1.算法概述高斯-马尔可夫定理(Gauss–Markov theory)是指在给定经典线性回归的假定下,最小二乘估计量是具有最小方差的线 ...
ESL第十七章无向图模型学习/推断/成对马尔可夫独立/全局马尔可夫性、协方差图/高斯图/修改回归算法/图结构估计/图lasso、【受限】玻尔兹曼机/泊松对数线性建模/迭代比例过滤/对比散度
目录 17.1 导言 17.2 马尔可夫图及其性质 17.3 连续变量的无向图模型 17.3.1 图结构已知的参数估计 17.3.2 估计图结构 17.4 离散变量的无向图模型 17.4.1 图结构已 ...
深入浅出的马尔科夫入门文章
http://blog.csdn.net/pipisorry/article/details/46618991 生成模式(Generating Patterns) 1.确定性模式(Determinis ...
PRML第八章读书笔记——Graphical Models 生成式模型/超先验/层次贝叶斯模型、d-分离/朴素贝叶斯、有向分解/马尔可夫毯、D图I图完美图、马尔科夫链/因子图/和积算法/最大和算法
(终于读到概率图了,从这一章开始应该算是PRML的精华内容了.过于基础的东西就不写了,主要写自己不会的) 目录 8.1 Bayesian Networks P365 祖先采样法ancestral sa ...
20200918：【广发金融工程】2018年重磅专题系列之九：基于隐马尔科夫模型的选股策略研究
参考链接:https://www.sohu.com/a/252454782_465470 [广发金融工程]2018年重磅专题系列之九:基于隐马尔科夫模型的选股策略研究 2018-09-07 11:26 ...
马尔科夫随机场的基本概念
1.随机过程: 描写叙述某个空间上粒子的随机运动过程的一种方法. 它是一连串随机事件动态关系的定量描写叙述. 随机过程与其他数学分支,如微分方程.复变函数等有密切联系.是自然科学.project科学及 ...
【机器学习基础】数学推导+纯Python实现机器学习算法24：HMM隐马尔可夫模型
Python机器学习算法实现 Author:louwill Machine Learning Lab HMM(Hidden Markov Model)也就是隐马尔可夫模型,是一种由隐藏的马尔可夫链随机 ...
从贝叶斯理论到马尔可夫随机场（MRF）--以图像分割为例
从贝叶斯理论到马尔可夫随机场--以图像分割为例马尔可夫随机场(CRF) 图像分割过程 Matlab代码实现 Python实现代码参考文献本文主要介绍马尔可夫随机场及其在图像分割中的应用.基于马尔 ...
数学建模-预测模型总结(适用范围、优缺点)【灰色预测模型、插值与拟合、时间序列预测法、马尔科夫预测、差分方程、微分方程模型、神经元网络】
基于数学建模的预测方法种类繁多,从经典的单耗法.弹性系数法.统计分析法,到目前的灰色预测法.当在使用相应的预测方法建立预测模型时,我们需要知道主要的一些预测方法的研究特点,优缺点和适用范围.下面就当下 ...

线性回归之最小二乘法（高斯-马尔可夫定理）

线性回归之最小二乘法（高斯-马尔可夫定理）相关推荐

最新文章

热门文章