深度学习之训练误差和泛化误差

2024-04-08 22:00:42

在学习深度学习的时候，会有不少的专业词语，有些专业词语中，有时很难分清楚。

在之前的文章中，我们常常提到训练集和验证集，其中训练集用于算法模型的训练和学习、验证集是对训练模型进行评估。在模型验证集上，不能包含训练集的数据。假设，我们使用ImageNet作为数据集，再从谷歌上搜索类似的同类的图片，有时候效果会很好，有可能是训练误差，而非泛化误差，因为很多ImageNet上的图片，也是谷歌搜索出来的。

训练误差

训练误差是指，模型在训练数据集上计算得到的误差，即在训练集上训练完毕后在训练集本身上进行预测得到了错分率。

泛化误差

泛化误差是指，模型应用在同样从原始样本的分布中抽取的无限多数据样本时，模型误差的期望，即训练集上没见过的数据的错分样本比率。

问题是，我们永远不能准确地计算出泛化误差。这是因为无限多的数据样本是一个虚构的对象。在实际中，我们只能通过将模型应用于一个独立的测试集来估计泛化误差，该测试集由随机选取的、未曾在训练集中出现的数据样本构成。

举个栗子：
在高中的时候，每到期末考试时，我都会整理和总结本学期和历年考试真题，做的题很多，尽管如此，在考试中，并不能保障每次都很考出好的成绩，因为我只是尝试死记硬背，如果考题正好在我的记忆中，我就会考出好成绩，反之，则很差，在这种场景下，所有的错题应该叫训练误差。后来，我尝试通过做题，理清楚知识原理，在考试中，遇到没见过的题目，也能通过知识架构梳理出解题思路，该场景下再出错的题目应该叫泛化误差。

本号更新很慢，平时也不更新，讲的很琐碎。只是不想让自己囫囵吞枣式学习。我慢慢写，各位老板慢慢看。

关注公众号，解锁更多深度学习内容。

深度学习之训练误差和泛化误差相关推荐

欠拟合、过拟合、训练误差与泛化误差与模型复杂度的关系
文章目录相关定义欠拟合和过拟合欠拟合原因欠拟合解决方案过拟合原因过拟合解决方案相关定义训练误差: 模型在训练数据集上表现出的误差. 泛化误差: 模型在任意⼀个测试数据样本上表现出的误差 ...
训练误差和泛化误差分别是什么，如何区分？
在我们学习机器学习或深度学习的时候,经常会遇见一些迷惑词汇,让人傻傻分不清,比如博主刚开始学习的时候,就没有太过于区分,导致一些地方弄混. 今天就让我带着大家一起区分一下训练误差和泛化误差吧~有什 ...
训练误差与泛化误差的说明
1. 训练误差与泛化误差的定义在机器学习中,评价一个模型"优劣"的最直观的数据就是模型的误差,其中误差又分为以下两种误差: - 训练误差(training error):模型在训 ...
深度学习的数学-卷积神经网络的误差反向传播
文章目录前言正文卷积神经网络中的关系式卷积层池化层输出层平方误差(损失函数) 梯度下降法卷积层和输出层的神经单元误差(重点) 输出层的神经单元误差计算输出层的神经单元与其权重偏置的关 ...
收藏 | PyTorch深度学习模型训练加速指南2021
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:作者:LORENZ KUHN 编译:ronghuaiyang ...
深度学习模型训练的结果及改进方法
深度学习模型训练的结果及改进方法模型在训练集上误差较大: 解决方法:1. 选择新的激活函数2. 使用自适应的学习率在训练集上表现很好,但在测试集上表现很差(过拟合): 解决方法:1. 减少迭代次数 ...
笔记 | 百度飞浆AI达人创造营：深度学习模型训练和关键参数调优详解
笔记 | 百度飞浆AI达人创造营:深度学习模型训练和关键参数调优详解针对特定场景任务从模型选择.模型训练.超参优化.效果展示这四个方面进行模型开发. 一.模型选择从任务类型出发,选择最合适的模型. ...
深度学习模型训练和关键参数调优详解
深度学习模型训练和关键参数调优详解一.模型选择 1.回归任务人脸关键点检测 2.分类任务图像分类 3.场景任务目标检测人像分割文字识别二.模型训练 1.基于高层API训练模型加载数据集 ...
机器学习中的误差、经验误差、泛化误差
误差:学习器的实际预测输出与样本的真实输出之间的差异称为"误差". 经验误差(训练误差):模型在训练集上的误差称为"经验误差"(empirical error) ...
深度学习如何训练出好的模型
深度学习在近年来得到了广泛的应用,从图像识别.语音识别到自然语言处理等领域都有了卓越的表现.但是,要训练出一个高效准确的深度学习模型并不容易.不仅需要有高质量的数据.合适的模型和足够的计算资源,还需要 ...

最新文章

热门文章