偏差-方差权衡的理解

1、概念：

Bias：描述的是预测值与真实值之间的差距。用来衡量模型对特定样本实例预测的一致性（或说变化）。

Variance：描述的是预测值的变化范围，离散程度，也就是离其真实值的距离。用来从总体上衡量预测值与实际值之间的差异。

对于一个非线性分类问题而言（如XOR），简单的线性分类器（无维度空间映射）由于自身特性并不能较好地进行类别划分，model会出现较大的偏差；而决策树模型作为非线性分类器，能较好的拟合训练样本，偏差值较小，但若模型过于拟合训练样本，测试样本出现了训练样本考虑不周的情况，则容易出现预测误差，即方差值较高。对于一个model而言，泛化误差越小越好，可以通过一些方法来减小上述的偏差和方差。例如，常见的random forest通过采样和融合多棵决策树来减小泛化误差。

2、例子：

想象你开着一架黑鹰直升机，得到命令攻击地面上一只敌军部队，于是你连打数十梭子，结果有一下几种情况:
1.子弹基本上都打在队伍经过的一棵树上了，连在那棵树旁边等兔子的人都毫发无损，这就是方差小（子弹打得很集中），偏差大（跟目的相距甚远）。
2.子弹打在了树上，石头上，树旁边等兔子的人身上，花花草草也都中弹，但是敌军安然无恙，这就是方差大（子弹到处都是），偏差大（同1）。
3.子弹打死了一部分敌军，但是也打偏了些打到花花草草了，这就是方差大（子弹不集中），偏差小（已经在目标周围了）。
4.子弹一颗没浪费，每一颗都打死一个敌军，跟抗战剧里的八路军一样，这就是方差小（子弹全部都集中在一个位置），偏差小（子弹集中的位置正是它应该射向的位置）。

方差，是形容数据分散程度的，算是“无监督的”，客观的指标，偏差，形容数据跟我们期望的中心差得有多远，算是“有监督的”，有人的知识参与的指标。

3、数学：

引自：http://scott.fortmann-roe.com/docs/BiasVariance.html

偏差-方差权衡对理解正则化也有指导意义。

偏差-方差权衡的理解相关推荐

14. 偏差-方差权衡
2.5 偏差-方差权衡在根据训练数据拟合出预测函数后,通过分析该函数在测试实例处的损失期望值,可以获得关于预测误差的重要知识.下面基于叠加模型,对回归预测函数进行计算,其结论对分类同样适用. 设某回 ...
独家 | 教你用Python来计算偏差-方差权衡
作者:Jason Brownlee 翻译:吴振东校对:车前子本文约3800字,建议阅读8分钟. 本文为你讲解模型偏差.方差和偏差-方差权衡的定义及联系,并教你用Python来计算. 衡量一个机器学 ...
误差模型：过拟合，交叉验证,偏差-方差权衡
from: http://www.voidcn.com/blog/Mark_LQ/article/p-5983585.html Introduction In this post you will g ...
偏差-方差权衡（bias-variance-tradeoff）
过拟合发生在当我们有一个非常灵活的模型(模型具有高能力)时,其本质上是通过紧密拟合来记住训练数据.这样的问题是模型不仅学到了训练数据中的实际关系,还学习了存在的噪声.灵活的模型具有高方差(varian ...
python 方差分解_干货：教你用Python来计算偏差-方差权衡
原标题:干货 :教你用Python来计算偏差-方差权衡作者:Jason Brownlee 翻译:吴振东本文约3800字,建议阅读8分钟. 本文为你讲解模型偏差.方差和偏差-方差权衡的定义及联系,并 ...
python算方差_干货：教你用Python来计算偏差-方差权衡
作者:Jason Brownlee 翻译:吴振东本文约3800字,建议阅读8分钟.本文为你讲解模型偏差.方差和偏差-方差权衡的定义及联系,并教你用Python来计算. 衡量一个机器学习模型的性能,可 ...
机器学习算法中的偏差-方差权衡(Bias-Variance Tradeoff)
一般而言高偏差意味着欠拟合,高方差意味着过拟合.关系见:http://www.cnblogs.com/TenosDoIt/p/3712590.html 转载于:https://www.cnblogs. ...
利用python计算偏差-方差权衡
学习笔记,仅供参考,有错必纠 import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.l ...
关于偏差-方差的分析
偏差: 是指一个模型的在不同训练集上的平均性能和最优模型的差异,可以用来衡量一个模型的拟合能力.换句话说,偏差反映的是预测值期望\(E(f(x))\)与真实值\(y\)之间偏移了多少: 方差: 是指一 ...

偏差-方差权衡的理解

偏差-方差权衡的理解相关推荐

最新文章

热门文章