理解偏差（Bias）和方差（Variance）

1. 定义和公式[1]

符号

$x$	测试样本
$D$	训练集
$y_D$	$x$ 在数据集中的标记（人工标记）
$y$	$x$ 的真实标记（上帝视角，我们凡人没办法完美知晓）
$f(x;D)$	训练集 $D$ 上学得模型 $f$ 在 $x$ 上的预测输出
$\bar{f}(x)=E_D[f(x;D)]$	学习算法的期望预测

这里解释一下 $y_D$ 和 $y$ 的区别， $y_D$ 是数据集本身带有的，虽然是人工客观标记的，但它与“理想”的 $y$ 是可能存在差距的，理想的 $y$ 是由数据（特征值）内在的特征所决定的。比如，我们可以利用机器学习去判断一个人是否需要开麻精药，但是我们有的数据只有医生是否决定了给病人开药，但是问题是我们没办法判断这个医生的决定是否是正确的，也就是说【医生的决定（即 $y_D$ ）】与由病人自身的各种条件所决定的【真实是否需要用药 $y$ 】之间可能存在差距，我们这个差距的平方为噪声。

我们假设这个学习过程可以重复进行多次，那么我们可以求得一个多次学习的期望预测结果，偏差（Bias）度量了学习算法的期望预测与真实结果的偏离程度，刻画的是学习算法本身的拟合能力。

我们假设这个学习过程可以重复进行多次，那么我们可以求得一个多次学习的期望预测结果，每一次学习得到的预测值与期望预测值的平方差就是方差，方差（Variance）度量的是同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。

噪声（Noise）则表达了在当前任务上任何算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。噪声是任何数据集都会存在的，任何模型都没有办法从根本上消除。通常假设噪声的期望为0。

泛化误差（Generalization error）=偏差+方差+噪声

关系

一般来说，偏差与方差是有冲突的，这称为偏差一方差窘境 (bias-variance dilemma)。假如我们能控制学习算法的训练程度，在训练不足时，学习器的拟合能力不够强，训练数据的扰动不足以使学习器产生显著变化，此时偏差主导了泛化错误率;随着训练程度的加深，学习器的拟合能力逐渐增强，训练数据发生的扰动渐渐能被学习器学到，方差逐渐主导了泛化错误率;在训练程度充足后，学习器的拟合能力已非常强，训练数据发生的轻微扰动都会导致学习器发生显著变化，若训练数据自身的、非全局的特性被学习器学到了，则将发生过拟合。[1]

参考文献：

[1]. 机器学习. 周志华

理解偏差（Bias）和方差（Variance）相关推荐

吴恩达神经网络和深度学习-学习笔记-6-训练集、验证集和测试集 + 偏差bias和方差variance
寻找最优超参数是一个迭代过程在今天,应用深度学习是一个典型的迭代过程. 创建高质量的训练数据集.验证集和测试集,有助于提高循环效率. 训练集.验证集和测试集数据Data分为三部分: 训练集trai ...
偏差bias与方差variance
目录 1 含义 1.1 偏差 1.2 偏差和方差 2 期望泛化误差公式推导 3 权衡偏差与方差: 4 解决高偏差与高方差参考学习算法的预测误差, 或者说泛化误差(generalization er ...
偏差(bias)、方差(variance)和噪音(noise)
对于一个预测问题,若真实模型为f(x)f(\boldsymbol{x})f(x). 通常我们通过对特定的数据集D=(x1,y1),(x2,y2),-,(xn,yn)D = {(\boldsymbol{ ...
偏差(Bias)与方差(Variance)详解
偏差与方差详解 1 问题背景 2 一点点数学 3 偏差与期望 4 偏差方差窘境 5 Bagging与Boosting 1 问题背景 NFL(No Free Lunch Theorem)告诉我们选择算 ...
误差error，偏置bias，方差variance的见解
更新日志:2020-3-10 谢谢@ProQianXiao的指正.偏差-方差的确是在测试集中进行的. 之前的误解是,偏差和方差的计算是同一个模型对不同样本的预测结果的偏差和方差:而实际上是不同模型对同 ...
理解偏差和方差(Bias-Variance)的Tradeoff
本文作者:合肥工业大学电商所钱洋内容可能有不到之处,欢迎交流未经本人允许禁止转载. 文章目录简介偏差(Bias)与方差(Variance)的概念过拟合和欠拟合 Bias-Variance ...
Understanding the Bias-Variance Tradeoff（深入理解偏差和方差）
听说这是一篇你好好看就能看懂的文章,我看不懂证明我没好好看,不是我智商低,一定是这样的...下面测智商开始... 摘要理解关于我们训练出来的预测模型的方差和偏差有助于我们避免过拟合和欠拟合错误. 1 ...
如何理解过拟合=高方差、欠拟合=高偏差
欠拟合=高偏差还好理解一些,一直不太明白过拟合和高方差有什么关系,那么我们首先就要理解各种 '差' 的定义定义: 我们评价一个模型好不好,是通过测试集的数据来评价的,而不是训练集或者交叉验证集,如果 ...
斯坦福大学公开课机器学习：advice for applying machine learning | learning curves （改进学习算法：高偏差和高方差与学习曲线的关系）...
绘制学习曲线非常有用,比如你想检查你的学习算法,运行是否正常.或者你希望改进算法的表现或效果.那么学习曲线就是一种很好的工具.学习曲线可以判断某一个学习算法,是偏差.方差问题,或是二者皆有. 为了绘制 ...
C语言实现方差variance计算(附完整源码)
实现方差variance计算实现方差variance计算的完整源码(实现,main函数测试) 实现方差variance计算的完整源码(实现,main函数测试) #include <math.h ...

理解偏差（Bias）和方差（Variance）

1. 定义和公式[1]

理解偏差（Bias）和方差（Variance）相关推荐

最新文章

热门文章