1.训练样本

数据增强

方法：通过对样本图像平移、旋转或镜像翻转，增加样本数量；
优点：使有限的数据得到最大程度的有效利用。

使用大规模数据集

ImageNet：基于WorldNet，按层级图像分类，动物植物食物等，末梢节点包含多张对应图像；
Place：在SVNDatabase基础上的扩展，包括多种场景，室内、室外、交通工具、建筑物等。

其它

设置图像中间区域为感兴趣区域，可以防止变换后的样本偏离图像区域；
对样本会产生形状变化的情况，如手写字符识别，先变形再数据增强，可以使用弹性变换算法，包括双线性插值或双三次插值等插值法。

2.预处理

原因：当样本类别内差异较大时，为了减少样本差异，会进行预处理。

方法：均值减法、归一化、白化。

均值减法

大规模的物体识别预处理的方式；
eg：图像识别中，训练样本-均值图像=输入数据（差分图像），经过处理后，数据平均值会变为0，图像整体亮度变化可以得到抑制。

归一化

为样本的均值和方差添加约束的一种预处理方法。
首先计算各数据标准差 $\sigma _{i}=\sqrt{\frac{1}{N}\sum_{n=1}^{N}(x_{ni}-\overline{x_{i}})}$ ，然后对样本图像进行均值减法，再除以标准差 $x_{ni}=\frac{\widetilde{x_{ni}}}{\sigma _{i}}$ ；
可以得到均值为0，方差为1的标准化数据，可以得到高度差异更小的图像样本。

白化

消除数据间的相关性，增强图像边缘。
首先使用均值减法使数据均值为0，得到 $\widetilde{x}$ ；然后进行白化处理， $Y=WX,W=W^{T}=(PD^{-\frac{1}{2}}P^{T})$ ，PD分别为奇异值分解后的正交矩阵和对角矩阵；
该方法可以消除相关性较高的信息，保留边缘等相关性较低的信息，可以提高图像的识别性能。

3.激活函数

maxout：从k个单元输出值中取最大值作为单元的最终输出。

卷积层使用：在多个特征图的相同位置选取最大值，用来减少特征图的个数；
池化层使用：最大池化，用来缩小特征图。

ReLU函数的衍生函数

其中，R ReLU性能最优，但是差异不大。

4.DropOut

原理：在网络训练的过程中，按照一定的概率将一部分中间层单元暂时从网络中丢弃，把该单元的输出设置为0，使其不工作来避免过拟合。

丢弃概率通常是50％，可以在不同层设置不同的DropOut概率。

注意：

对被舍弃的单元进行误差反向传播计算时，使用被丢弃之前的原始输出值；
用训练好的网络进行识别时，经过进行过DropOut处理的层时，输出值要在原始输出的基础上乘以训练时DropOut的概率。

5.DropConnect

原理：将一部分连接权重设置为0，达到舍弃一部分单元，防止过拟合的目的。

与DropOut比较：

性能更好，被丢弃的单元数更多；
训练难度更高，需要随机选择设置为0的连接权重，对随机数依赖性比较高。

深度学习笔记整理（五）——提高泛化能力的方法相关推荐

神经网络与深度学习笔记汇总五
神经网络与深度学习笔记汇总五往期回顾将之前掘金写的学习笔记所遇困难搬到这里,方便查看复习遇到问题: 报错 (未解决) 学习内容: 1.报错operand should contain 1 col ...
正则化方法/防止过拟合提高泛化能力的方法：L1和L2 regularization、数据集扩增、dropout
转载自:http://blog.csdn.net/u012162613/article/details/44261657 本文是<Neural networks and deep learnin ...
图解深度学习-提高泛化能力的方法
数据集在深度学习的训练过程中,神经网络的类型和结构固然重要,但训练样本才是重中之重. 数据增强当训练样本数量较少时,可以通过数据增强来增加样本的多样性. 数据增强就是通过对样本图像进行平移.旋转. ...
深度学习笔记第五门课序列模型第二周自然语言处理与词嵌入
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
深度学习笔记第五门课序列模型第三周序列模型和注意力机制
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
神经网络与深度学习笔记（五）深层神经网络
摘要:本文知识点主要有简单介绍深层神经网络.深层神经网络的传播过程.保证矩阵维数的正确性.深度神经网络强大的原因.神经网络正向传播和反向传播的流程图.参数和超参数和神经网络与人脑机制的关系. 1.深层 ...
深度学习笔记（五）代价函数的梯度求解过程和方法
作为自己的笔记系列,方便自己查阅和理解. 1)什么是梯度梯度本意是一个向量(矢量) 当某一函数在某点处沿着该方向的方向导数取得该点处的最大值,即函数在该点处沿方向变化最快,变化率最大(为该梯度的模 ...
深度学习笔记第五门课序列模型第一周循环序列模型
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
深度学习笔记（五）：深度学习卷积核的计算理解，小卷积核和大卷积核的转换比较
文章目录一.卷积核(convolutional kernel): 1.1 介绍 1.2 设计中的问题二.池化(pooling): 没有完全整理的blog 整理完的blog 一.卷积核(convol ...
深度学习笔记整理2 - 感知器算法
深度学习基本概念深度学习是机器学习算法中的一类,其源于人工神经网络的研究. 深度学习广泛应用在计算机视觉,音频处理,自然语言处理等诸多领域. 深度可以理解为数据计算转换的层数. 机器学习& ...

深度学习笔记整理（五）——提高泛化能力的方法