如何理解过拟合=高方差、欠拟合=高偏差

欠拟合=高偏差还好理解一些，一直不太明白过拟合和高方差有什么关系，那么我们首先就要理解各种 ‘差’ 的定义

定义：

我们评价一个模型好不好，是通过测试集的数据来评价的，而不是训练集或者交叉验证集，如果在测试集上预测数据表现得不好，那么我们就说这个训练出来的模型有很大的误差。
那么误差来自于哪里呢？
误差 = 偏差 + 方差
在不写出这个式子时，很多人可能不会察觉误差和偏差有什么区别？因此总是想当然的认为误差和偏差是一个东西，这样就会造成我们无法理解方差是什么？
误差：在测试集上，预测值和实际值之间存在的差距。

图中红点表示输入一个样本x，其真实的输出值y，即我们希望输出的目标，而蓝点表示我们实际预测出来的输出值，注意，所有蓝点的输入样本都是同一个x，那么为什么会得出不同的预测值呢？因为这里代表的是：我们使用了不同的训练集（从所有样本中选出不同的训练集）得出了不同的参数theta（即N个不同的训练模型），导致最终的预测值有区别。
解释完这些，再定义偏差和方差。
偏差： 偏差是衡量预测值和真实值的关系。即N次预测的平均值（也叫期望值），和实际真实值的差距。所以偏差bias=E(p(x)) - f(x)。
方差： 方差用于衡量预测值之间的关系，和真实值无关。即对于给定的某一个输入，N次预测结果之间的方差。variance= E((p(x) - E(p(x)))^2)，反映的是不同训练模型之间对同一个输入样本x的预测值的离散程度。

在模型复杂度比较低时，会出现欠拟合的现象，那么此时使用不同的 ‘训练集’ 训练出多个 ‘训练模型’，由于没有很好的拟合图像，就会使E(p(x)) 和实际y偏差很大，导致高偏差。
在模型复杂度高时，出现过拟合的现象，那么此时使用不同的 ‘训练集’ 训练出多个 ‘训练模型’，只能适应该训练集的数据，而不能适应测试集的数据，导致同一个输入对于不同的训练模型输出的数据比较离散，从而方差较大

一般来说，方差、偏差、模型复杂度有以下关系：

那么对于四张打靶图的情况在线性回归中是否都有可能出现呢？

首先对于第一张图，low bias\low variance是我们最希望得到的，它对应着图2中的交点，自然说明此时我们的模型非常好，因此可能会出现
对于第二张图，此时则考虑出现过拟合的情况，即方差较大，偏差较小，可能出现
对于第三张图，此时则考虑出现欠拟合的情况，即方差较小，偏差较大，可能出现
对于第四张图，方差偏差都很大，则说明我们的训练模型完全在瞎猜输出值，这种情况一般在线性回归的训练中不会出现。

如何理解过拟合=高方差、欠拟合=高偏差相关推荐

过拟合(overfitting)和欠拟合(underfitting)出现原因及如何避免方案
文章目录欠拟合一.什么是欠拟合? 二.欠拟合出现原因三.解决欠拟合(高偏差)的方法过拟合一.什么是过拟合? 二.过拟合出现原因三.解决过拟合(高方差)的方法欠拟合一.什么是欠拟合? 欠 ...
什么是欠拟合现象_欠拟合和过拟合是什么？解决方法总结
欠拟合与过拟合欠拟合是指模型在训练集.验证集和测试集上均表现不佳的情况: 过拟合是指模型在训练集上表现很好,到了验证和测试阶段就大不如意了,即模型的泛化能力很差. 欠拟合和过拟合一直是机器学习训练中 ...
过拟合(Over-fitting) 和欠拟合(Under-fitting)
初学机器学习和深度学习的时候,我们常常会遇到 "过拟合" 和 ''欠拟合" 这两个看似不明所以的数学概念,今天我就专门讲一讲它们具体是怎么一回事. 拟合(fitting) ...
误差函数拟合优缺点_欠拟合、过拟合及如何防止过拟合
对于深度学习或机器学习模型而言,我们不仅要求它对训练数据集有很好的拟合(训练误差),同时也希望它可以对未知数据集(测试集)有很好的拟合结果(泛化能力),所产生的测试误差被称为泛化误差.度量泛化能力的好 ...
06 回归算法 - 损失函数、过拟合欠拟合
== 损失函数 == 损失函数是衡量一个模型好坏的指标,一般来说损失函数的值越小越好. 0~1损失函数: J(θ)=$begin{cases} 1,Y≠f(X)\ 0,Y=f(X)\ end{case ...
KNN和K-means的区别为什么KNN算法里的K越小模型会越复杂？过拟合和欠拟合的偏差和方差问题
这里将这三个问题在一起讲,仅仅是因为自己觉得有些联系,而且正好自己概念有些模糊. 1. KNN 和 K-means的区别:参考https://www.cnblogs.com/nucdy/p/63491 ...
偏差、方差、欠拟合、过拟合、学习曲线
文章目录欠拟合 under fitting 过拟合 over fitting 偏差与方差偏差 - 方差窘境 bias-variance dilemma 学习曲线 learning curve 欠拟 ...
过拟合与欠拟合的生动理解
文章目录 1.过拟合 2.欠拟合 3.图像表现 4.解决办法 1.过拟合过拟合(OverFititing):太过贴近于训练数据的特征了,在对应训练集上表现非常优秀,近乎完美的预测/区分了所有的数据, ...
一文区分什么是「过拟合」和「欠拟合」？
一文区分什么是「过拟合」和「欠拟合」? https://mp.weixin.qq.com/s/_V1Yno4FzhGdGqr6JPscpw 编译:Richard Yang 来源:Towards Dat ...
【机器学习】欠拟合过拟合正则化
正则化拟合效果拟合效果分析欠拟合原因特征量过少参数太少,模型复杂度过低过拟合原因建模样本选取有误样本噪音干扰过大假设不成立参数太多,模型复杂度过高其他 tree-based模型 ...

如何理解过拟合=高方差、欠拟合=高偏差

定义：

如何理解过拟合=高方差、欠拟合=高偏差相关推荐

最新文章

热门文章