深度学习与卷积神经网络

深度学习概述

深度学习是机器学习领域的一个重要分支，由人工神经网络演变而来，其目的是生成一个能够模拟人脑工作的深度神经网络[6]。传统人工神经网络的网络层数较少，所以只是浅层学习，深度学习则使用一系列的非线性变换构建多个隐藏层（一般大于5层）的神经网络，从十分庞大的数据中提取出抽象的特征，从而达到提高分类和预测准确度的最终目的[4]。目前，深度学习已经在语音辨别、图像与视频分析、数据挖掘等诸多领域上有了很好的表现。

随着深度学习在学术界和工业界上的普遍认同，科研人员已经开发出了众多深度学习的开源框架，比如Google的Tensorflow，应用最为广泛的caffe，在众多机器学习算法中应用良好的PyTorch等。PyTorch是Torch7团队开发的一个基于Python语言的深度学习框架，不仅可以完成强大的GPU加速，还提供动态神经网络功能，拥有自动求导机制。本文代码就是基于Pytorch框架实现。

目前比较成熟的深度学习模型根据学习单元的不同分为深度置信网络、自动编码器和卷积神经网络（Convolutional Neural Networks,CNN）三种。研究证明[7][8]卷积神经网络在处理多维数组数据时效果较为突出，更适合图像、视频这类数据的检测与识别[4]。所以本文中选用卷积神经网络对新能源车牌照片进行特征提取。

卷积神经网络

卷积神经网络是一种多层的人工神经网络，每一层又包括多个二维的特征图，每个特征图都是由上一层的特征图得到。完整的卷积神经网络通常包括多个特征提取阶段，每个特征提取阶段通常都由多个卷积层和池化层共同构成。在提取特征之后，再经过由几个全连接层组成的分类器，完成分类。

在整个神经网络结构中，通常分为:卷积层、池化层、归一化层、非线性层和全连接层。其中，卷积层主要用于特征提取。每个卷积层由多维特征图构成，特征图通过卷积核与上一层的特征图相联系，卷积层的输出再经过非线性函数的处理后输出形成该层特征图。池化层又称为降采样层，主要用于特征优化选取，它通过池化操作，在保存主要特征的同时降低特征图的尺寸，以此提高网络对于位移和扭曲等问题的容错性。池化层通常有两种：均值池化和最大值池化。为了较好地保存特征，一般使用最大值池化方式。

卷积神经网络训练时常选择将反向传播和监督学习相结合的方式，使用梯度下降来优化网络，训练流程主要包含前向传播阶段、反向传播阶段两个阶段[9]。其工作过程简述如下：在正向传播中，数据从输入层输入，经过隐藏层逐层提取分析之后，传播到输出层，在逐层提取的过程中，每层神经元的输出只传递给下一层的神经元[9]。到了输出层，将当前输出值和期望输出值作比较，若两者有误差不满足要求，则进行反向传播。误差信号从输出层向隐藏层进行逐层反向传播，直到传至输入层，然后按照传播的误差调整各个隐藏层的每个神经元的权重系数，一直重复这个步骤，直到收敛到误差信号的最小值。