偏差-方差分解简要推导

假设数据集上需要预测的样本为Y ，特征为X，潜在模型为Y=f(X)+εY=f(X)+ \varepsilonY=f(X)+ε，其中ε∼N(0,σε)\varepsilon \sim N(0,\sigma_\varepsilon)ε∼N(0,σε)是噪声，估计的模型为f^(x)\hat{f}(x)f^(x)。
推导过程
1. Err(X)=E[(Y−f^(X))2]Err(X)=E[(Y-\hat{f}(X))^{2}]Err(X)=E[(Y−f^(X))2]
2. Err(X)=E[(f(X)+ε−f^(X))2]Err(X)=E[(f(X)+\varepsilon-\hat{f}(X))^{2}]Err(X)=E[(f(X)+ε−f^(X))2]
3. Err(X)=E[(f(X)−f^(X))2+2ε(f(X)−f^(X))+ε2]Err(X)=E[(f(X)-\hat{f}(X))^{2}+2\varepsilon (f(X)-\hat{f}(X))+\varepsilon^{2}]Err(X)=E[(f(X)−f^(X))2+2ε(f(X)−f^(X))+ε2]
  由于ε\varepsilonε服从均值为0的分布，故对2ε(f(X)−f^(X))2\varepsilon (f(X)-\hat{f}(X))2ε(f(X)−f^(X))求期望得0，ε2\varepsilon^{2}ε2的期望等于其方差。
4. Err(X)=E[(E(f^(X))−f(X)+f^(X)−E(f^(X)))2]+σε2Err(X)=E[(E(\hat{f}(X) )-f(X) +\hat{f}(X) -E(\hat{f}(X) ) )^{2}]+\sigma _{\varepsilon }^{2}Err(X)=E[(E(f^(X))−f(X)+f^(X)−E(f^(X)))2]+σε2
5. Err(X)=E[(E(f^(X))−f(X))2]+E[(f^(X)−E(f^(X)))2]+2E[(E(f^(X))−f(X))(f^(X)−E(f^(X)))]+σε2Err(X)=E[(E(\hat{f}(X) )-f(X) )^{2}]+E[(\hat{f}(X) -E(\hat{f}(X) ) )^{2}] +2E[ (E(\hat{f}(X) )-f(X) )(\hat{f}(X) -E(\hat{f}(X) )) ]+\sigma _{\varepsilon }^{2}Err(X)=E[(E(f^(X))−f(X))2]+E[(f^(X)−E(f^(X)))2]+2E[(E(f^(X))−f(X))(f^(X)−E(f^(X)))]+σε2
6. 对 E[(E(f^(X))−f(X))(f^(X)−E(f^(X)))]E[ (E(\hat{f}(X) )-f(X) )(\hat{f}(X) -E(\hat{f}(X) )) ]E[(E(f^(X))−f(X))(f^(X)−E(f^(X)))]进一步展开可得：
  E[E(f^(X))f^(X)−E(f^(X))2−f(X)f^(X)+f(X)E(f^(X))]E[ E(\hat{f}(X) ) \hat{f}(X) - E(\hat{f}(X) )^{2} - f(X)\hat{f}(X) + f(X)E(\hat{f}(X) ) ]E[E(f^(X))f^(X)−E(f^(X))2−f(X)f^(X)+f(X)E(f^(X))]
  其中前两项和为0，得E[f(X)E(f^(X))−f(X)f^(X)]E[ f(X)E(\hat{f}(X) ) - f(X)\hat{f}(X) ]E[f(X)E(f^(X))−f(X)f^(X)]
7. E(f^(X))E(\hat{f}(X) )E(f^(X))是一个值所以可以从式中提出来，同时f(X)f(X)f(X),f^(X)\hat{f}(X)f^(X)相互独立。故
  E[f(X)E(f^(X))−f(X)f^(X)]=E(f^(X))E(f(X))−E(f(X))E(f^(X))=0E[ f(X)E(\hat{f}(X) ) - f(X)\hat{f}(X) ] = E(\hat{f}(X) )E(f(X) ) - E(f(X) )E(\hat{f}(X) ) = 0E[f(X)E(f^(X))−f(X)f^(X)]=E(f^(X))E(f(X))−E(f(X))E(f^(X))=0
8. Err(X)=E[(E(f^(X))−f(X))2]+E[(f^(X)−E(f^(X)))2]+σε2Err(X)=E[(E(\hat{f}(X) )-f(X) )^{2}]+E[(\hat{f}(X) -E(\hat{f}(X) ) )^{2}] +\sigma _{\varepsilon }^{2}Err(X)=E[(E(f^(X))−f(X))2]+E[(f^(X)−E(f^(X)))2]+σε2
9. Err(X)=Bias2+Var(X)+σε2Err(X)=Bias^{2}+Var(X)+\sigma_{\varepsilon}^{2}Err(X)=Bias2+Var(X)+σε2
泛化误差可以分解为：偏差+方差
偏差：反映了模型在样本上的期望输出与真是标记之间的差距，即模型本身的精准度，反映的是模型本身的拟合能力。
方差：反映了模型在不同训练数据集下学得的函数的输出与期望输出之间的误差，即模型的稳定性，反应的是模型的波动情况。
泛化误差分析：欠拟合，高偏差低方差；过拟合，低偏差高方差。

偏差-方差分解简要推导相关推荐

机器学习之过拟合与欠拟合以及偏差-方差分解
1.过拟合所谓过拟合就是:把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质,这样就会导致训练出的模型其泛化能力降低,这就是过拟合. 如何解决? 1)Early stopping Earl ...
【机器学习－西瓜书】二、偏差-方差分解；泛化误差
2.5偏差与方差关键词:偏差-方差分解:泛化误差 . 偏差-方差分解是解释算法泛化性能的一种重要工具.偏差-方差分解试图对学习算法的期望泛化错误率进行拆解. 泛化误差可分解为:偏差,方差与噪声之和. ...
偏差-方差分解，学习和验证曲线评估模型
偏差-方差分解参考链接:https://www.zhihu.com/question/20448464 https://blog.csdn.net/simple_the_best/article/d ...
偏差-方差分解 Bias-Variance Decomposition(转载)
转载自http://www.cnblogs.com/jmp0xf/archive/2013/05/14/Bias-Variance_Decomposition.html 完全退化了,不会分解,看到别人 ...
方差与偏差的意义与推导过程
文章目录基本概念偏差与方差的公式推导符号假设泛化误差.偏差和方差之间的关系偏差.方差窘境偏差.方差与过拟合.欠拟合的关系? 偏差.方差与bagging.boosting的关系? 如何解决偏 ...
python 方差分解_干货：教你用Python来计算偏差-方差权衡
原标题:干货 :教你用Python来计算偏差-方差权衡作者:Jason Brownlee 翻译:吴振东本文约3800字,建议阅读8分钟. 本文为你讲解模型偏差.方差和偏差-方差权衡的定义及联系,并 ...
独家 | 教你用Python来计算偏差-方差权衡
作者:Jason Brownlee 翻译:吴振东校对:车前子本文约3800字,建议阅读8分钟. 本文为你讲解模型偏差.方差和偏差-方差权衡的定义及联系,并教你用Python来计算. 衡量一个机器学 ...
机器学习偏差方差_机器学习101 —偏差方差难题
机器学习偏差方差 Determining the performance of our model is one of the most crucial steps in the machine le ...
你真的理解机器学习中偏差 - 方差之间的权衡吗？
作者:chen_h 微信号 & QQ:862251340 微信公众号:coderpai 简书地址:http://www.jianshu.com/p/f143... 我认为对偏差 - 方差之间的 ...
偏差-方差均衡（Bias-Variance Tradeoff）
众所周知,对于线性回归,我们把目标方程式写成:. (其中,f(x)是自变量x和因变量y之间的关系方程式,表示由噪音造成的误差项,这个误差是无法消除的) 对y的估计写成:. 就是对自变量和因变量之间的关 ...

偏差-方差分解简要推导

偏差-方差分解简要推导相关推荐

最新文章

热门文章