数据增强

在样本有限的情况下，采用数据增强的方法对原有样本进行变换：

平移、旋转、镜像翻转
几何变换、对比度变换、颜色变换、添加随机噪声、图像模糊
弹性变换算法：双线性插值、双三次插值

预处理

均值减法：每个图像，减去所有图像的均值，使整个训练样本均值为0
均一化：对样本图像进行均值减法后，再除以标准差，使整个训练样本均值为0，方差为1
白化（ZCA）：用到奇异值分解，使图像中物体的边缘更加清晰

Dropout

在网络的训练过程中，按照预先设定的概率将一部分中间层的单元暂时从网络中丢弃，通过把该单元的输出设置为0使其不工作，来避免过拟合。但是对被舍弃单元进行误差反向传播计算时，仍使用被舍弃之前的原始输出值

可用于训练包含全连接层的神经网络

训练完后，在识别时使用全部单元。对经过Dropout处理过的层要多乘一次训练时设定的概率（因为训练时舍弃了一部分，这时候识别要用全部的，多了）

DropConnect

与Dropout相似，DropCnooect是按照概率将一部分权重设置为0。相比之下，DropConnect更不容易发生过拟合

但是，没有免费的午餐，DropConnect训练难度更大，对随机数的依赖更高，所以Dropout使用更普遍

如何提高深度学习的泛化能力？相关推荐

评估方法提高深度学习模型泛化能力
三种经典的评估方法提高模型泛化能力 ①留出验证:评估模型时,将数据划分为训练集.验证集.测试集.(比较适合大数据集) 在训练数据上训练模型,在验证数据上评估模型,最后在测试数据上测试最佳参数的模型. ...
从傅里叶分析角度解读深度学习的泛化能力
作者丨许志钦学校丨纽约大学阿布扎比分校博士后,纽约大学库朗研究所访问学者研究方向丨计算神经科学,深度学习理论深度学习成功地应用在很多领域,但对它的理论理解却非常缺乏.这两年,很多理论学家把关注点 ...
思考深度学习的泛化能力
深度神经网络往往带有大量的参数,但依然表现出很强的泛化能力(指训练好的模型在未见过的数据上的表现).深度神经网络为何会拥有如此强的泛化能力?2016年.2017年的两篇论文引起了广泛思考. 神经网 ...
深度学习：泛化能力、不收敛
文章目录一.什么是"泛化能力" 二.什么是"不收敛"? 一.什么是"泛化能力" 是指一个机器学习算法对于没有见过的样本的识别能力.我们也叫 ...
斯坦福马腾宇：用显式正则器提升深度神经网络的泛化能力
2019年12月30日,在"智源论坛·海外学者学术报告会"上,斯坦福大学计算机科学和统计学助理教授马腾宇博士做了<为深度模型设计显式正则器>的主题演讲.马腾宇,本科就读 ...
降低数值精度以提高深度学习性能
降低数值精度以提高深度学习性能 Lowering Numerical Precision to Increase Deep Learning Performance 深度学习训练和推理将成为未来几十年 ...
4个提高深度学习模型性能的技巧
点击上方"AI遇见机器学习",选择"星标"公众号原创干货,第一时间送达深度学习是一个广阔的领域,但我们大多数人在构建模型时都面临一些共同的难题在这里,我们 ...
python3人工智能网盘_《Python3入门人工智能掌握机器学习+深度学习提升实战能力》百度云网盘资源分享下载[MP4/5.77GB]...
内容简介本资源为<Python3入门人工智能掌握机器学习+深度学习提升实战能力>百度云网盘资源分享下载,具体看下文目录,格式为MP4/5.77GB.本资源已做压缩包处理,请勿直接在百度网 ...
清华大学出品：罚梯度范数提高深度学习模型泛化性
关注公众号,发现CV技术之美 1 引言神经网络结构简单,训练样本量不足,则会导致训练出来的模型分类精度不高:神经网络结构复杂,训练样本量过大,则又会导致模型过拟合,所以如何训练神经网络提高模型的泛化 ...

如何提高深度学习的泛化能力？

数据增强

预处理

Dropout

DropConnect

如何提高深度学习的泛化能力？相关推荐

最新文章

热门文章