偏差-方差分解bias-variance decomposition

2024-05-12 14:18:50

方差、偏差的直观意义

方差维基百科定义：
Var⁡(X)=E[(X−μ)2]其中μ=E(X)\operatorname{Var}(X)=\mathrm{E}\left[(X-\mu)^{2}\right] 其中\mu=\mathrm{E}(X) Var(X)=E[(X−μ)2]其中μ=E(X)
在给定数据集中
方差：
var⁡(x)=ED[(f(x;D)−f‾(x))2]\operatorname{var}(\boldsymbol{x})=\mathbb{E}_{D}\left[(f(\boldsymbol{x} ; D)-\overline{f}(\boldsymbol{x}))^{2}\right] var(x)=ED[(f(x;D)−f(x))2]
偏差：
bias⁡2(x)=(f‾(x)−y)2\operatorname{bias}^{2}(\boldsymbol{x})=(\overline{f}(\boldsymbol{x})-y)^{2} bias2(x)=(f(x)−y)2
噪声：
ε2=ED[(yD−y)2]\varepsilon^{2}=\mathbb{E}_{D}\left[\left(y_{D}-y\right)^{2}\right] ε2=ED[(yD−y)2]
对于方差偏差的解释如下图打靶子所示，红点为打的靶点即预测值，中心靶心为真实值，方差为预测期望值与预测值之间的均方误差如红线所示，偏差是预测期望与真实值的均方误差，总体的函数误差为方差+偏差+数据噪声（数据噪声为标注错误等造成的原始数据不准确）

方差-偏差分解

此处的分解只适用于回归问题，对于分类问题得不到这个分解，因为分类问题误差不能基于均方误差。

上面等式中第四行等于0的原因是：
ED[2(f(x;D)−f‾(x))(f‾(x)−yD)]=ED(f‾(x)−yD)ED[2(f(x;D)−f‾(x)]\mathbb{E}_{D}\left[2(f(\boldsymbol{x} ; D)-\overline{f}(\boldsymbol{x}))\left(\overline{f}(\boldsymbol{x})-y_{D}\right)\right]=\mathbb{E}_{D}\left(\overline{f}(\boldsymbol{x})-y_{D}\right)\mathbb{E}_{D}\left[2(f(\boldsymbol{x} ; D)-\overline{f}(\boldsymbol{x})\right] ED[2(f(x;D)−f(x))(f(x)−yD)]=ED(f(x)−yD)ED[2(f(x;D)−f(x)]
其中ED(f‾(x)−yD)=0\mathbb{E}_{D}\left(\overline{f}(\boldsymbol{x})-y_{D}\right)=0ED(f(x)−yD)=0，所以第四行等式等于0。

意义

偏差和方差有冲突，对应着训练模型的欠拟合和过拟合，在训练前期模型欠拟合，模型的误差由偏差主导即期望预测与真实标签差距很远如上图紫色线条所示，训练后期偏差减小，完美的拟合训练数据，对于数据扰动能力减弱，给予新的数据后由于泛化性能减弱造成方差增大。

偏差-方差分解bias-variance decomposition相关推荐

机器学习之过拟合与欠拟合以及偏差-方差分解
1.过拟合所谓过拟合就是:把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质,这样就会导致训练出的模型其泛化能力降低,这就是过拟合. 如何解决? 1)Early stopping Earl ...
【机器学习－西瓜书】二、偏差-方差分解；泛化误差
2.5偏差与方差关键词:偏差-方差分解:泛化误差 . 偏差-方差分解是解释算法泛化性能的一种重要工具.偏差-方差分解试图对学习算法的期望泛化错误率进行拆解. 泛化误差可分解为:偏差,方差与噪声之和. ...
偏差-方差分解，学习和验证曲线评估模型
偏差-方差分解参考链接:https://www.zhihu.com/question/20448464 https://blog.csdn.net/simple_the_best/article/d ...
Bias - Variance Decomposition
偏差-方差分解定理解释了训练的数据和调控因子lamda(惩罚项里的)的作用因为机器学习的真实目标是期望风险最小化(Expected Generalization Loss),其可以分解为三个部分 ...
偏差-方差分解 Bias-Variance Decomposition(转载)
转载自http://www.cnblogs.com/jmp0xf/archive/2013/05/14/Bias-Variance_Decomposition.html 完全退化了,不会分解,看到别人 ...
偏差/方差、经验风险最小化、联合界、一致收敛
本篇与前面不同,主要内容不是算法,而是机器学习的另一部分内容--学习理论.主要包括偏差/方差(Bias/variance).经验风险最小化(Empirical Risk Minization,ERM) ...
python 方差分解_干货：教你用Python来计算偏差-方差权衡
原标题:干货 :教你用Python来计算偏差-方差权衡作者:Jason Brownlee 翻译:吴振东本文约3800字,建议阅读8分钟. 本文为你讲解模型偏差.方差和偏差-方差权衡的定义及联系,并 ...
独家 | 教你用Python来计算偏差-方差权衡
作者:Jason Brownlee 翻译:吴振东校对:车前子本文约3800字,建议阅读8分钟. 本文为你讲解模型偏差.方差和偏差-方差权衡的定义及联系,并教你用Python来计算. 衡量一个机器学 ...
机器学习偏差方差_机器学习101 —偏差方差难题
机器学习偏差方差 Determining the performance of our model is one of the most crucial steps in the machine le ...
关于偏差-方差的分析
偏差: 是指一个模型的在不同训练集上的平均性能和最优模型的差异,可以用来衡量一个模型的拟合能力.换句话说,偏差反映的是预测值期望\(E(f(x))\)与真实值\(y\)之间偏移了多少: 方差: 是指一 ...

最新文章

热门文章