机器学习中的方差和偏差理解

一、Bias（偏差） & Variance（方差）

偏差：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。

方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。

在机器学习中，这两个名词经常让我们傻傻分不清。
我们不妨用案例来看看怎么区分。
假设我们正在做一个分类器，分别在训练集和验证集上测试，以下为四种可能的情况：

四种情况

可见①、④两种情况的训练集误差都很小，接近optimal error，这种就称为low bias。说明训练的很到位了。
相反，②、③两者的训练集误差很大，这就称为high bias。因此我们知道，bias就是衡量训练集和我们的最小误差的差距。

再来看看variance是怎么判断。①情况下，验证集相比训练集误差上升了很多，这就是high variance。而②呢，虽然它的验证集误差更大，但是相比它的训练集误差，基本没太大变化，因此它不能叫low variance。所以，说白了，variance是指你的验证集和你训练集的效果的差别，而不是某个绝对的值。

用这样一个图可以更加清晰地理解两者的意思：

bias和variance的关系

最后不妨总结一下，我直接总结在一张图里：

由此可见

高bias往往意味着模型根本没训练到位，也就是欠拟合。可能是训练次数不够，样本数量不足

高variance往往意味着模型训练过头了，过拟合了。过拟合一般是对于训练集误差很小而验证集/测试集误差很大而言。

如果两者都高的话，只能说模型太烂了，不知道怎么评价了。

感谢：
作者：冉冉说
链接：https://www.imooc.com/article/69484

机器学习中的方差和偏差理解相关推荐

机器学习中的方差与偏差
方差与偏差的定义方差:不同的训练数据集训练出的模型输出值之间的差异. 偏差:用所有可能的训练数据集训练出的所有模型的输出的平均值与真实模型的输出值之间的差异. 方差与偏差的数学公式首先,以回归为例 ...
一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉
关于交叉熵在loss函数中使用的理解交叉熵(cross entropy)是深度学习中常用的一个概念,一般用来求目标与预测值之间的差距.以前做一些分类问题的时候,没有过多的注意,直接调用现成的库,用起 ...
机器学习中的线性回归，你理解多少？
作者丨algorithmia 编译 | 武明利,责编丨Carol 来源 | 大数据与人工智能(ID: ai-big-data) 机器学习中的线性回归是一种来源于经典统计学的有监督学习技术.然而,随着机 ...
机器学习中的方差偏差分析（Bias-variance analysis）
在预测问题中,给定一个新的数据点,预测错误的期望是多少? 假设数据是独立同分布地从一个潜在固定的概率分布中获取的,假设其分布函数为 P ( < x , y > ) = P ( x ) P ...
机器学习中参数模型和非参数模型理解
写在前面非参数模型(non-parametric model)和参数模型(parametric model)作为数理统计学中的概念,现在也常用于机器学习领域中. 在统计学中,参数模型通常假设总体服从 ...
数字信号处理实验三用fft对信号作频谱分析_机器学习中的音频特征：理解Mel频谱图...
如果你像我一样,试着理解mel的光谱图并不是一件容易的事.你读了一篇文章,却被引出了另一篇,又一篇,又一篇,没完没了.我希望这篇简短的文章能澄清一些困惑,并从头解释mel的光谱图. 信号信号是一定量 ...
机器学习中的方差和偏差
2019独角兽企业重金招聘Python工程师标准>>> 对于已建立的某一机器学习模型来说,不论是对训练数据欠拟合或是过拟合都不是我们想要的,因此应该有一种合理的诊断方法. 首先 Er ...
机器学习中的统计学基础
一.什么是统计学是一门收集.整理和分析统计数据的方法科学其目的是探索数据内在的数据规律性,以达到对客观事物的科学认识统计学研究随机现象,以推断为特征,"由部分及全体"的思想贯 ...
【机器学习】什么是学习曲率？如何解决模型中方差和偏差问题？什么是迁移学习？什么是模型的精确率和召回率？
系列文章目录第十二章 Python 机器学习入门之构建机器学习系统系列文章目录文章目录一.学习曲率二.利用大型神经网络解决方差和偏差问题三.机器学习开发的迭代循环四.误差分析五. 添加 ...

机器学习中的方差和偏差理解

机器学习中的方差和偏差理解相关推荐

最新文章

热门文章