#深入理解# 机器学习中误差和残差的区别

这里首先需要了解以下观察值、真实值和预测值的关系->三者的区别请参考我的这篇文章->从根本上理解机器学习中真实值、观测值、预测值的区别
简单来讲，误差是观察值与真实值之间的差；残差是观察值与模型估计值之间的差，因此误差和样本数据的构造有关，残差和预测模型有关，一般我们只关心残差。

其实了解到这已经足够了，但是想要进一步理解误差和残差的区别请往下看

误差是观察值与真实值之间的差。经典测验理论（CTT）的基本假设是：X=T+E。也就是说，观察值等于真值加上误差。我们的任何一次测量都带有误差（每一次测量的这个误差具体是多少是不清楚的，只有把所有测量结果进行分析后才知道误差有多大），经典测验理论认为误差是随机分布，且误差均值为0。因此，经过多次测验后，将观测值求平均就可以看作为真值。也就是说，多次测量求得的平均数是真值的最佳估计。

残差是观察值与模型估计值之间的差。以回归分析为例，回归方程y=b0+b1x，当知道b0和b1时这就是一个真实的回归模型。比如y=2+3x。取一个数值（1,2），则模型估计值为y=2+3×1=5。残差为2-5=-3。因此，只要有一个确定的取值以及模型，则模型肯定有一个估计值，也就有一个残差了。对残差进行分析是回归分析的一个重要部分。

参考文章->误差和残差

#深入理解# 机器学习中误差和残差的区别相关推荐

鄂维南：从数学角度，理解机器学习的「黑魔法」，并应用于更广泛的科学问题...
作者 | Hertz 来源 | 科学智能AISI 北京时间2022年7月8日晚上22:30,鄂维南院士在2022年的国际数学家大会上作一小时大会报告(plenary talk).今天我们带来鄂老师演讲 ...
AI学习笔记之——如何理解机器学习(Machine Learning)
前面虽然介绍了概率和贝叶斯网络,但是还是没有正式介绍AI中最重要的算法--机器学习.如果说概率论是机器学习的基石,那么机器学习算法和理论就是支撑整个AI系统的支柱.现在比较火的深度学习神经网路等等其实 ...
通过简单的线性回归理解机器学习的基本原理
在本文中,我将使用一个简单的线性回归模型来解释一些机器学习(ML)的基本原理.线性回归虽然不是机器学习中最强大的模型,但由于容易熟悉并且可解释性好,所以仍然被广泛使用.简单地说,线性回归用于估计连续或 ...
你真的理解机器学习中偏差 - 方差之间的权衡吗？
作者:chen_h 微信号 & QQ:862251340 微信公众号:coderpai 简书地址:http://www.jianshu.com/p/f143... 我认为对偏差 - 方差之间的 ...
深入理解机器学习——类别不平衡学习（Imbalanced Learning）：基础知识
分类目录:<深入理解机器学习>总目录传统的分类技术通常存在一个致命缺陷,即当其在样本分布不均衡的数据上训练时(如:采用99个健康人和1个病人的体检指标创建疾病诊断模型或99990个正常数 ...
如何理解机器学习和统计中的AUC？
1.如何理解机器学习和统计中的AUC? 首先,在试图弄懂AUC和ROC曲线之前,一定,一定要彻底理解混淆矩阵的定义!!!混淆矩阵中有着Positive.Negative.True.False的概念,其 ...
透彻理解机器学习中极大似然估计MLE的原理（附3D可视化代码)
文章目录相关资料一.什么是概率,什么是似然二.极大似然估计 Maximum Likelihood Estimation (MLE) 的含义 2.1 机器学习中的极大化似然函数 2.2 极大似然估 ...
熟读高数才能理解机器学习？不，初中数学就够了
导读谁说理解机器学习必须要熟读高数? 近日,数据科学Kyle在Medium发布博客表示,理解机器学习在做的事情,有初中数学知识足矣. 这篇博客简洁易懂.幽默风趣,在Medium上几天内获得600多赞 ...
深入理解机器学习——概率图模型（Probabilistic Graphical Model）：条件随机场（Conditional Random Field，CRF）
分类目录:<深入理解机器学习>总目录条件随机场(Conditional Random Field,CRF)是一种判别式无向图模型,在<概率图模型(Probabilistic Gra ...

#深入理解# 机器学习中误差和残差的区别

#深入理解# 机器学习中误差和残差的区别相关推荐

最新文章

热门文章