关于深度学习中泛化的几个概念

泛化

过拟合

将模型在训练数据上拟合得⽐在潜在分布中更接近的现象称为过拟合（overfitting），⽤于对抗过拟合的技术称为正则化（regularization）。

训练误差和泛化误差

训练误差（training error）是指，我们的模型在训练数据集上计算得到的误差。泛化误差（generalization error）是指，当我们将模型应⽤在同样从原始样本的分布中抽取的⽆限多的数据样本时，我们模型误差的期望。

独立同分布假设

模型复杂性

当我们有更复杂的模型和更少的样本时，我们预计训练误差会下降，但泛化误差会增⼤。

影响泛化的因素

可调整参数的数量。当可调整参数的数量（有时称为⾃由度）很⼤时，模型往往更容易过拟合。
参数采⽤的值。当权重的取值范围较⼤时，模型可能更容易过拟合。
训练样本的数量。即使你的模型很简单，也很容易过拟合只包含⼀两个样本的数据集。而过拟合⼀个有数百万个样本的数据集则需要⼀个极其灵活的模型。

K折交叉验证

欠拟合和过拟合

训练误差和验证误差都很严重，如果模型不能降低训练误差，则欠拟合

当我们的训练误差明显低于验证误差，则过拟合

数据集大小

越多的数据，越能拟合一个更复杂的模型，复杂的模型可能是有益的，但如果没有足够的数据，简单的模型可能更有用

关于深度学习中泛化的几个概念相关推荐

深度学习中epoch，batch的概念--笔记
深度学习中epoch,batch的概念 batch.epoch和iteration是深度学习中几个常见的超参数. (1) batch_ size: 每批数据量的大小.DL通常用SGD的优化算法进行训练 ...
深度学习中的一些术语和概念
全连接的前馈神经网络 CNN(Convolutional Neural Network)--卷积神经网络,通常用于图像数据 RNN(Recurrent Neural Network)--循环神经网络递 ...
深度学习（2）--深度学习中的这25个概念
神经网络基础 1)神经元(Neuron)--就像形成我们大脑基本元素的神经元一样,神经元形成神经网络的基本结构.想象一下,当我们得到新信息时我们该怎么做.当我们获取信息时,我们一般会处理它,然后生成一 ...
深度学习中的Lipschitz约束：泛化与生成模型
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP,神经网络个人主页丨kexue.fm 去年写过一篇 WGAN-GP 的入门读物互怼的艺术:从零直达WGAN-GP,提到通过梯度惩罚来为 ...
深度学习中的一些英文解释
A: (1)anchors:锚点.(anchors(锚点)定义在RPN网络中) B: (1)bounding box:预测边界框. (2)Botton-up 3D proposal generatio ...
深度学习中的优化算法之MBGD
之前在https://blog.csdn.net/fengbingchun/article/details/75351323 介绍过梯度下降,常见的梯度下降有三种形式:BGD.SGD.MBGD,它们的 ...
深度学习中的优化简介
深度学习算法在许多情况下都涉及到优化. 1. 学习和纯优化有什么不同在大多数机器学习问题中,我们关注某些性能度量P,其定义于测试集上并且可能是不可解的.因此,我们只是间接地优化P.我们系统通过降低代 ...
一文读懂深度学习中的各种卷积
来源|机器之心我们都知道卷积的重要性,但你知道深度学习领域的卷积究竟是什么,又有多少种类吗?研究学者 Kunlun Bai 发布了一篇介绍深度学习的卷积文章,用浅显易懂的方式介绍了深度学习领域的各种 ...
卷积有多少种？一文读懂深度学习中的各种卷积
点击上方"视学算法",选择"星标"公众号精选作品,第一时间送达本文选自towardsdatascience 作者:Kunlun Bai 公众号机器之心整理 ...