ML/DL-复习笔记【七】- 偏差和方差

本节为ML/DL-复习笔记【七】- 偏差和方差。

偏差和方差是模型泛化误差的两种的不同衡量标准，当我们模型非常简单并且参数较少时，可能会有较大的偏差bias但是方差vatiance较小；模型过于复杂且参数较多时，可能会有较大的方差而偏差较小。

比如说如果训练集非常大，且标签和特征并不是线性的，此时若我们强行使用一个线性模型来拟合数据，得到的模型的泛化误差就会很大，这种情况即欠拟合，我们说模型的偏差很大。如果训练集样本数目有限，但是我们强行使用一个高阶的模型来拟合数据，得到的模型虽然在训练集上表现良好，但是泛化误差同样很大，这情况即过拟合，我们说模型的方差很大。

我们在训练一个模型的时候，通常的做法时定义一个损失函数，通过将这个损失最小化，提高模型的性能。但是我们训练模型的目的是解决实际的问题，单纯地将训练数据集的loss最小化，并不能保证在解决更一般问题是模型效果好，甚至不能保证可用。这个训练数据集的loss和一般化的数据集的loss之间的差异，即泛化误差。其中Bias偏差是用所有可能的训练数据集训练出的所有模型的输出的平均值与真实模型的输出值之间的差异，Variance方差是不同训练数据集训练出的模型的输出值之间的差异。

人话就是偏差度量了学习算法的期望预测与真实输出的偏离程度，即算法本身的拟合能力；方差度量了同样大小的训练集的变动所导致的学习性能的变化，即数据扰动造成的影响。【还有一个量叫噪声，表达了当前任务上任何学习算法所能达到的期望泛化误差的下界，刻画了学习问题本身的难度】。

偏差低，对应着模型的参数增加和复杂化，此时方差较大，容易过拟合；方差低，对应着模型参数的减小和简单化，此时偏差较高，容易欠拟合。

解决偏差和方差问题的思路，对于大偏差，自然就是寻找更具代表性的特征或者是增大输入向量维度，对于大方差，则应该增加数据集合，减少数据维度，使用正则化方法和交差验证法。

提到偏差和方差，也不得不提集成学习中的bagging和boosting。bagging是booststrap aggregating的简称，再取样然后在每个样本上训练出的模型取平均，降低的是模型的方差，先天并行的算法都有这个效果比如随机森林；boosting则是迭代算法，每一次迭代根据上一次迭代的预测结果对样本进行加权，所以随着迭代进行，误差会越来越小，这种算法无法并行。简单来说，bagging相当于对训练数据做一定程度的扰动，造成基分类器的多样性，由于基分类器的优化的目标本质上是一致的，所以误差会随着集成过程的进行而降低。boosting表面也是对训练数据的扰动，但是集成分类器具有一个优化目标，本质上是单个优化算法，训练过程可以使集成分类器收敛到最优贝叶斯决策，因此降低了bias。

有的书中也提到，bagging是对许多强分类器求平均，本身每个分类器bias就很低，平均之后仍然低，没什么变化，但是原来的单个分类器强到可能过拟合，即方差高，求平均的操作就能够降低方差。而boosting是把许多弱分类器组合成一个强分类器，弱分类器bias高，强分类器bias低，所以说boosting起到了降低bias的作用，这里variance并不是boosting的主要考虑因素。

欢迎扫描二维码关注微信公众号深度学习与数学[每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]

ML/DL-复习笔记【七】- 偏差和方差相关推荐

计算机三级网络怎么复习,计算机三级网络技术复习笔记七
第八章网络技术展望人们每次发送的报文分为较小的数据块,既报文分组,每个报文分组单独传送,达到目的地后再重新组装成报文,这就是分组交换技术. 信元交换技术是一种快速分组交换技术,它结合了电路交换技术 ...
机器学习(吴恩达)笔记——高偏差高方差
转载自https://blog.csdn.net/The_lastest/article/details/78357727?locationNum=9&fps=1 学习曲线(learning ...
Bobo老师机器学习笔记第八课-方差、偏差、岭回归、LASSO回归？
对误差分类问题一.什么是偏差和方差? 先看下面这幅图图: 方差: 都是围着数据中心的,方差越大则表示距离数据中心分布的越分散,越小说明越近越集中偏差: 偏离数据中心, 偏差越大,说明整个数据距离中 ...
大学物理第七章“机械波”复习笔记
大学物理第七章"机械波"复习笔记一.机械波的产生与传播 1.机械波的产生 (1)条件:介质+振源 (2)分类:横波(固态介质中传播)+纵波(固液气中传播) (3)易错点波动过程 ...
小吴的《机器学习周志华》学习笔记第二章 2.4 比较检验、2.5 偏差与方差
小吴的<机器学习周志华>学习笔记第二章 2.4 比较检验. 2.5 偏差与方差 2.4 比较检验上一周提到了实验的评价方法和性能量度,步骤简单可以看成:先使用某种实验评估方法测得学习 ...
4.3 偏差与方差-机器学习笔记-斯坦福吴恩达教授
偏差与方差在机器学习中,偏差(bias) 反映了模型无法描述数据规律,而方差(variance) 反映了模型对训练集过度敏感,而丢失了数据规律,高偏差和高方差都会造成新数据到来时,模型给出错误的预 ...
机器学习笔记——偏差vs方差
(参考菜菜的sklearn课程) 一个集成模型在一个数据集上的泛化误差E(f;D),由方差(var).偏差(bais)和噪声共同决定: 对于上图: 红色点集成算法中的每个基评估器产生的预测值: 红色虚 ...
Java基础复习笔记系列七 IO操作
Java基础复习笔记系列之 IO操作我们说的出入,都是站在程序的角度来说的.FileInputStream是读入数据.?????? 1.流是什么东西? 这章的理解的关键是:形象思维.一个管道插入了一 ...
吴恩达神经网络和深度学习-学习笔记-24-在不同的划分上进行训练和测试+不匹配数据划分的偏差和方差
在不同的划分上进行训练和测试深度学习算法对训练数据的胃口很大,当你收集到足够多的带标签数据构成训练集时,算法效果最好. 这导致很多团队用尽一切方法收集数据,然后把它们堆到训练集里,让训练的数据量更大 ...
【李宏毅2020 ML/DL】P58 Unsupervised Learning - Neighbor Embedding | LLE, t-SNE
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-note ...

ML/DL-复习笔记【七】- 偏差和方差

ML/DL-复习笔记【七】- 偏差和方差相关推荐

最新文章

热门文章