高斯与最小二乘法的故事

2024-04-10 14:03:41

文章目录

历史故事
公式介绍

历史故事

1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。

随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。

时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。

别人问高斯，你用什么方法计算的，高斯说保密~

藏着掖着长达9年之久，最后高斯将其使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，而法国科学家勒让德于1806年独立发现"最小二乘法"，但因不为世人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，见高斯-马尔可夫定理。

公式介绍

最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。

公式如下：
J(θ)=12∑i=0n(hθ(xi)−y)(hθ(xi)−y)J(\theta) = \frac{1}{2}\sum\limits_{i = 0}^n(h_{\theta(x_i)} - y)(h_{\theta(x_i)} - y)J(θ)=21i=0∑n(hθ(xi)−y)(hθ(xi)−y)

J(θ)J(\theta)J(θ)表示损失函数； yyy 表示目标值； hθ(xi)h_{\theta(x_i)}hθ(xi) 表示预测函数，即方程、模型、算法。

下面是矩阵表示：

J(θ)=12(Xθ−y)T(Xθ−y)J(\theta) = \frac{1}{2}(X\theta - y)^T(X\theta - y)J(θ)=21(Xθ−y)T(Xθ−y)

我在马士兵教育，教授AIoT-人工智能物联网课程，欢迎你加入，深入学习！
代码点亮人生，代码改变世界~

高斯与最小二乘法的故事相关推荐

小高斯与老师的故事，我觉得老师数学功底完爆小高斯一条街。
据说高斯上小学的时候,老师一次上课为了偷懒,对同学们说:"谁能告诉我1+1/2+1/3+...+1/100000化成最简分数分母末尾有多少个零我就让你们出去玩."之后老师拿了本书正 ...
最小二乘法的本质是什么？
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:深度学习与计算机视觉作者:梨梨喵 https://ww ...
南邮 OJ 1176 高斯求和
高斯求和时间限制(普通/Java) : 1000 MS/ 3000 MS 运行内存限制 : 65536 KByte 总提交 : 3327 测试通过 : 568 ...
数学王子高斯传奇，一路开挂打怪的一生
作者:孙桂秋湖南中医药大学数理教研室做够了数学题?来看看数学家背后的故事.你现在绞尽脑汁冥思苦想的数学定理都是如何发现的? 顺便说,高斯在机器学习中也经常听到. 01 少年求学卡尔·费里德里希· ...
朴素贝叶斯高斯模型_从零开始实现高斯朴素贝叶斯独立贝叶斯模型
朴素贝叶斯高斯模型 "Why is Google censuring me?!" Claire asked (true story). Sure, she's always bee ...
最小二乘法求模型最优解
目录前言两者不同分析误差函数参考链接前言勒让德和高斯发现最小二乘法是从不同的角度入手的:一个是为解线性方程组,一个是寻找误差函数:一个用的是整体思维,考虑方程组的均衡性,一个用的是逆向思维 ...
java之父詹姆斯高斯林的传奇人生
Java之父詹姆斯高斯林的传奇故事詹姆斯·高斯林 (James Gosling)是一名软件专家,1955年5月19日出生于加拿大,Java编程语言的共同创始人之一,一般公认他为"Java之 ...
16 最小二乘法 - 数据分析的瑞士军刀
事实上,在成百上千的各式各样的攻击方法中,取算术平均恐怕是最广为人知使用也最为广泛的方法,因为可能一个小学生都知道使用算术平均来计算自己每天平均花了多少零花钱而以此作为向爸妈讨要零花钱的依据.而我们大 ...
从寻找谷神星的过程，谈最小二乘法实现多项式拟合
科学史上众星云集,璨若星河.这些牛人基本上都是天才,但也不乏无名之辈凭借匪夷所思.骇世惊俗的猜想而跻身于巨星之列.比如,门捷列夫,整了一张留空的元素周期表,引得全世界的化学家去做填空题.还有一位德国的 ...

最新文章

热门文章