线性最小二乘法的通俗理解
线性最小二乘法的通俗理解
- 1. 最小二乘法
- 2. 通俗理解
- 2.1. 举例
- 2.2. 线性方程组
- 2.3. 最优猜测
- 2.4. 求偏导
1. 最小二乘法
最小二乘法（又称最小平方法）是一种数学优化技术
它通过 最小化误差的平方和 寻找数据的最佳函数匹配
利用最小二乘法可以简便地求得未知的数据
并使得这些求得的数据与实际数据之间误差的平方和为最小
最小二乘法还可用于曲线拟合
其他一些优化问题也可通过 最小化能量 或 最大化熵 用最小二乘法来表达
2. 通俗理解
2.1. 举例
这里举个简单的例子吧
假如去食堂打包，不同的菜价格不一样：
- 打包 1个菜需要 8 块
- 打包 2个菜需要 11 块
- 打包 3个菜需要 18 块
- 打包 4个菜需要 21 块
那么打包5个菜需要多少块
2.2. 线性方程组
一般应该会想到用线性方程组来解决这个问题：
假定 x 是菜式的数量，y是付款金额，β1和β2为未知的系数
把上面的一组数据代入，得到以下四个方程：
但这样的β1和β2是不存在的
形象地说，它们不在一条直线上
可是现实中，就希望能找到一条直线
虽然不能满足所有条件，但能近似地表示这个趋势
或者说，能大概猜测出打包5个菜的价格
2.3. 最优猜测
其实最小二乘法也是这样，要尽全力 让这条直线最接近这些点
那么问题来了，怎么去做一个标准，即 怎么去定义这个最接近 呢？
直觉告诉我们，这条直线在所有数据点中间穿过，让这些点到这条直线的误差之和越小越好
这里用方差来算更客观，即把每个点到直线的 误差平方累加：
如果上面的四个方程都能满足，那么S的值显然为0
但如果做不到，就让应该这个S越小越好
2.4. 求偏导
这里有一个概念，就是求 偏导数，需要了解一下
比如导数就是求变化率
而偏导数则是当变量超过一个的时候，对 其中一个变量 求变化率
要让S取得最小值（或最大值），那么S对于β1和β2分别求偏导结果为0
用一个直观的图来表示：
这条曲线，前半部分是呈下降的趋势，也就是变化率（导数）为负的
后半部分呈上升的趋势，也就是变化率（导数）为正
那么分界点的导数为0，也就是取得最小值的地方
这是一个变量的情况，对于多个变量的情况，要让S取得最小值
那就是对β1和β2分别求导，值为0：
两个变量，刚好有两个方程式，得出：
即：
这个函数也就是需要的直线
虽然不能把那些点串起来，但它能最大程度上接近这些点
也就是说5个菜的时候，大概为 3 + 4.6 x 5 = 26 块
这是对最优问题的情况，类似神经网络也很多采用这种方式
虽然这种方法有局限性但还是很常见的
谢谢！
线性最小二乘法的通俗理解相关推荐
- 拉格朗日乘子法的通俗理解
拉格朗日乘子法的通俗理解 1. 举例 2. 求偏导 3. 拉格朗日乘子法 4. 乘子 1. 举例 这里举个简单的例子吧 在家里做蛋糕,假如只计算鸡蛋和牛奶的价格 其中鸡蛋的价格为4.5￥/斤,牛奶为1 ...
- 线代学习笔记（一）——线性代数的通俗理解
线性代数通俗理解 本篇笔记内容主要来源于45分钟线性代数通俗讲解_哔哩哔哩_bilibili,非常感谢up主的分享,这里我加入了部分自己的理解,与自己所学的知识结合完成. 基础概念 数据的维度:即数据 ...
- 通俗理解卡尔曼滤波（无人驾驶感知融合的经典算法）
前言 我个人有近10年AI教育经验了,中间获得过一些名号,比如北理工校外导师,微软MVP兼CSDN技术专家,本博客也有1700多万PV了,在AI圈内有极高知名度.后2015年和团队一块创业创办AI职教 ...
- CNN笔记：通俗理解卷积神经网络
通俗理解卷积神经网络(cs231n与5月dl班课程笔记) http://blog.csdn.net/v_july_v/article/details/51812459 1 前言 2012年我在北京组织 ...
- 【干货】通俗理解神经网络中激活函数作用
推荐阅读时间8min~13min 主要内容:通俗理解激活函数,主要来自我在学习会的slides,讲解了激活函数的非线性能力和组合特征的作用 下面我分别对激活函数的两个作用进行解释. 1 加入非线性因素 ...
- LDA通俗理解LDA主题模型
转自:http://blog.csdn.net/v_july_v/article/details/41209515#t13 通俗理解LDA主题模型 0 前言 印象中,最开始听说"LDA&qu ...
- 如何通俗理解Word2Vec
如何通俗理解Word2Vec 看本文之前,建议先看此文:<BERT通俗笔记:从Word2Vec/Transformer逐步理解到BERT> 前言 今年上半年,我在我的上一篇LSTM博客中写 ...
- AI绘画能力的起源：通俗理解VAE、扩散模型DDPM、DETR、ViT/Swin transformer
前言 2018年我写过一篇博客,叫:<一文读懂目标检测:R-CNN.Fast R-CNN.Faster R-CNN.YOLO.SSD>,该文相当于梳理了2019年之前CV领域的典型视觉模型 ...
- 通俗理解LDA主题模型(转载自 v_JULY_v 大佬)
通俗理解LDA主题模型 原文:https://blog.csdn.net/v_july_v/article/details/41209515 0 前言 印象中,最开始听说"LDA" ...
最新文章
- 卧槽，又一个Java面试神器！！！
- 数据产品经理从零到一：数据产品能力模型构建
- PaddlePaddle训练营——公开课——AI核心技术掌握——第2章机器能“看”的现代技术——源自视觉神经原理的卷积网络简介及深入理解
- 在看世界杯的闲暇看看电视剧《长恨歌》
- C#种将String类型转换成int型
- python 柱形图_Python 写入 Excel III 详解图形生成-柱形图
- CSS权威指南 -- 第一章 CSS和文档
- 最详细的制作正式版10.11 OS X El Capitan 安装U盘的方法
- 计算机组成原理（动态随机存储器)
- 搜狗输入法不能再idea上输入中文
- 【补丁】YYC松鼠短视频系统补丁，增加视频点赞数据管理功能，可修改点赞数量，V2.8的功能
- NVIDIA SPADE 风景合成
- PCB板设计布局原则有哪些？
- 黑马旅游网-旅游分类线路分页显示（七）
- 纯干货！埃森哲的大数据分析框架分享-part 1
- Iterator循环的用法
- 成功解决：RuntimeError: implement_array_function method already has a docstring
- virtualBox 虚拟机安装Windows7系统
- EMC设计的四大技巧
- lcd屏和amoled屏的优缺点 lcd屏和amoled屏哪个效果好