Bias - Variance Decomposition

偏差-方差分解定理

解释了训练的数据和调控因子lamda（惩罚项里的）的作用

因为机器学习的真实目标是期望风险最小化（Expected Generalization Loss），其可以分解为三个部分

Noise：像是多项式产生数据，会给原本的sinx+noise产生数据以拟合真实的数据，

Bias：hx是理论上最优的f，所以偏差就是通过训练集得到的函数f和期望得到的函数差多少

Variance：是指在一份训练数据上得到的函数和多份训练数据的平均之间相差多少

第一行，第一个，每一条红色的线就是在一份数据上产生的结果

第一行，第二、三个，是由于不同的lamda导致的图像不同

第二行，第一个，红色线代表上边100个数据集产生结果的平均，绿色线代表sin2pai；结果是稳定的欠拟合，

同时这幅图也是帮助理解的

上图说明了lamda的重要性，过大和过小的lamda都会使模型偏向bias或者vairance型

欠拟合：减小lamda，或者增大模型复杂度，比如原本是线性模型，那么就可以考虑使用非线性模型或者神经网络等更加复杂的模型

过拟合：增大lamda，或者减小模型复杂度

第三种情况：训练和验证是在学的同一种数据，概率分布是相同的，但是在测试的时候，可能是换了一种数据，学的的概率分布是不同的，这就会出现这种情况，对于这种情况，可以考虑使用迁移学习来解决问题

Bias - Variance Decomposition相关推荐

机器学习笔记：误差的来源（bias variance）
1 bias & variance 简单的模型--bias大,variance小复杂的模型--bias小,variance大 2 variance 3 bias 黑线--实际的曲线蓝线-- ...
Bias/variance tradeoff
Bias/variance tradeoff 线性回归中有欠拟合与过拟合,例如下图: 则会形成欠拟合, 则会形成过拟合. 尽管五次多项式会精确的预测训练集中的样本点,但在预测训练集中没有的数据,则不能 ...
统计视角下的Bias Variance Tradeoff 和它在KNN模型中的体现
统计视角下的Bias Variance Tradeoff 和它在KNN模型中的体现前言一.Bias Variance Tradeoff 1. 真实数据分布和取样的假设 2. 统计理论中的Bias和 ...
DL中的Bias Variance
Bias Variance Trade-off Prediction Error motivation bias variance comparison derivation Analysis los ...
Machine Learning第六周笔记一：评估学习算法和bias/variance
博客已经迁移到Marcovaldo's bolg (http://marcovaldong.github.io/) 入坑机器学习近一个月,学习资料主要是李航的<统计学习方法>.Peter ...
A detailed derivation for the Bias Variance tradeoff Decomposition
Introduction 在 ESL和 ISLR中,都给出了对于 bias和 variance的讨论,并给出这样的结论: Err(X)=Var(f^(X))+Bias(f^(X))2+Var(ϵ)Er ...
Bias Variance Tradeoff
统计学习中有一个重要概念叫做residual sum-of-squares RSS看起来是一个非常合理的统计模型优化目标.但是考虑k-NN的例子,在最近邻的情况下(k=1),RSS=0,是不是k-NN ...
Machine Learning week 6 quiz: programming assignment-Regularized Linear Regression and Bias/Variance
一.ex5.m %% Machine Learning Online Class % Exercise 5 | Regularized Linear Regression and Bias-Varia ...
偏见方差的权衡(Bias Variance Tradeoff)
统计学习中有一个重要概念叫做residual sum-of-squares RSS看起来是一个非常合理的统计模型优化目标.但是考虑k-NN的例子,在最近邻的情况下(k=1),RSS=0,是不是

Bias - Variance Decomposition

Bias - Variance Decomposition相关推荐

最新文章

热门文章