机器学习中误差的定义，以及过拟合现象的介绍

1、误差：学习器的实际预测输出与样本的真实输出之间的差异

学习器在训练集上的误差称为：训练/经验误差
学习器在新样本上的误差称为：泛化误差

注：显然我们希望得到泛化误差小的学习器。但是实际能做的努力是使经验误差最小化，很多情况下我们能得到一个在训练集上表现很好的学习器，遗憾的是这样的学习器在多数情况下都是不好的。

2、拟合：

过拟合：学习器将训练样本“学的太好”，已经把训练样本自身的一些小特点学习当做所有潜在样本都具有的大特点，导致泛化性能降低。
欠拟合：与过拟合相对，指对训练样本的的一般性质尚未学习好。

–>直观类比过拟合/欠拟合：训练样本集包含各式各样的树叶（颜色不同，纹理不同，叶形只有锯齿形）。
过拟合模型结果：学习到叶形必须是锯齿形的，光滑形的树叶不是树叶；
欠拟合模型结果：只学到颜色是绿色的都是树叶，误判绿树也是树叶。

注：过拟合最常见的情况是由于学习能力过于强大，而欠拟合通常是由于学习能力低下造成的。欠拟合比较容易克服，如在决策树学习中扩展分支、神经网络中增加训练轮数等；而过拟合比较麻烦，也是机器学习面临的关键障碍。过拟合是无法彻底避免的，我们只能通过一定途径“缓解”过拟合现象

机器学习中误差的定义，以及过拟合现象的介绍相关推荐

机器学习中模型泛化能力和过拟合现象(overfitting)的矛盾、以及其主要缓解方法正则化技术原理初探...
1. 偏差与方差 - 机器学习算法泛化性能分析在一个项目中,我们通过设计和训练得到了一个model,该model的泛化可能很好,也可能不尽如人意,其背后的决定因素是什么呢?或者说我们可以从哪些方面去 ...
【机器学习基础】说模型过拟合的时候，说的是什么?
前言机器学习中,模型的拟合效果意味着对新数据的预测能力的强弱(泛化能力).而程序员评价模型拟合效果时,常说"过拟合"及"欠拟合",那究竟什么是过/欠拟合呢?什 ...
吴恩达《机器学习》学习笔记六——过拟合与正则化
吴恩达<机器学习>学习笔记六--过拟合与正则化一. 过拟合问题 1.线性回归过拟合问题 2.逻辑回归过拟合问题 3.过拟合的解决二. 正则化后的代价函数 1.正则化思想 2.实际使用的 ...
过拟合现象，原因，以及降低过拟合的方法
一.什么是过拟合,为什么要避免过拟合图1.1 Overfit&Normal 上图是一张使用线性回归拟合二维样本数据的matlab输出图片,其中Normal曲线是使用使用了带参数空间限制的最小 ...
机器学习1：泛化（过拟合、欠拟合）
机器学习1:泛化(过拟合.欠拟合) 泛化理解判断过拟合欠拟合机器学习中的逼近目标函数过程统计拟合机器学习中的过拟合机器学习中的欠拟合机器学习中好的拟合个人理解泛化就是让机器具有举一 ...
【机器学习】——偏差方差，欠拟合过拟合
这一篇我们就是介绍机器学习中误差的来源--模型的偏差与方差偏差与方差的直观理解我们首先从直观上来理解一下这两个词: 偏差直观上我们感觉偏差就是预测值与真实值的偏离程度方差大家在统计学中应该都 ...
深度学习中过拟合、欠拟合现象以及解决方法
一.过拟合 1.过拟合现象过拟合(overfitting)是指在模型参数拟合过程中的问题,由于训练数据包含抽样误差,训练时,复杂的模型将抽样误差也考虑在内,将抽样误差也进行了很好的拟合.具体表现就是 ...
神经网络过拟合什么意思,神经网络过拟合现象
1.神经网络过拟合的现象是什么发生原因过拟合现象一般都是因为学习的过于精确,就好比让机器学习人脸,取了100个人的脸训练,但是由于你学习的过精确,导致除了这个样本100人外其他的人脸神经网络都认 ...
DL之DNN：利用MultiLayerNet模型【6*100+ReLU+SGD】对Mnist数据集训练来理解过拟合现象
DL之DNN:利用MultiLayerNet模型[6*100+ReLU+SGD]对Mnist数据集训练来理解过拟合现象导读自定义少量的Mnist数据集,利用全连接神经网络MultiLayerNet ...

机器学习中误差的定义，以及过拟合现象的介绍

机器学习中误差的定义，以及过拟合现象的介绍相关推荐

最新文章

热门文章