1 LeNet-5 （1998）

第一个被提出的卷积网络架构，深度较浅，用于手写数字识别。

2 AlexNet （2012）

架构为：

CONV1 ->MAX POOL1 ->NORM1 ->CONV2 ->MAX POOL2 ->NORM2 ->CONV3->CONV4->CONV5->Max POOL3->FC6 ->FC7->FC8

相比于LeNet-5，AlexNet除了使用了更深的结构，还用到了：

观察架构图可以看到，AlexNet实际上被分成了两部分，这是由于当时的GPU内存限制。因此AlexNet被分别存储在两个GPU上，其中CONV3，FC6，FC7，FC8涉及到了GPU间的通信。

AlexNet是第一个成功运用的深度神经网络。

3 VGGNet （2014）

（1）改进

相比AlexNet，VGGNet有更深的网络，更小的滤波器：

（2）为什么更小的滤波器更好

假设有连续3层卷积层，它们都使用3*3的滤波器，那么最后一层激活图中，每个神经元的感受野是7*7的。可以看到，3个3*3的滤波器堆叠能达到一个7*7滤波器的感受野大小，但是却使用了更少的参数，更深的网络，引入了更多的非线性。

（3）整体架构

下面这张图显示了VGGNet的结构和内存参数情况：

其中红色的内存指的是存储激活值所占的内存，可以看到，一张图片的一次前向传播需要大约100M的内存，而且参数有一亿多个。而且我们发现，内存消耗主要集中在卷积层中，而参数主要集中在全连接层中。

VGG论文中一些其他的细节：

4 GoogLeNet （2014）

（1）改进

相比之前的网络，GoogleNet更深。由于放弃了全连接层，因此参数更少。并且使用了Inception模块，计算效率更高。

（2）Inception模块

其中模块的输入是之前层的输出，在上面并行的使用各种大小的滤波器处理，最后各个滤波器的结果在深度上串联起来，得到模块的输出。

其中红色部分都是1*1的滤波器，被称为bottleneck层，其作用是减少输入的深度，然后再送给后面的滤波器处理，使得整体的运算量降低。下面两张图对比了使用和不使用bottleneck层的运算量。

不使用bottleneck层：

使用bottleneck层：

（3）整体架构

我们可以把GoogleNet的架构分为四部分：

a 输入一开始的部分，是传统的conv->pooling结构

b 中间部分是inception模块的堆叠

c Classifier output部分，移除了复杂的全连接层，使得参数量大大减少

d 额外的Classifier output部分，是为了解决网络过深导致较低层接受不到有效的梯度信号，额外的Classifier output部分可以为较低层提供额外的梯度信号。

5 ResNet （2015）

（1）深度网络训练困难问题

ResNet提出者指出，当网络很深时，训练集和测试集上的误差都表现得不好，显然这不是过拟合，而是深度网络难以训练（并不是梯度消失导致的，因为BN已经很好的解决了梯度消失）。

（2）残差层

如上图，左边是普通层，右边是残差层，H（x)是我们期望学习的函数。普通层会直接学习这个函数，而残差层会学习其与x的差。

为什么残差层会有效，它解决了深度网络训练中的什么问题？

ResNet并不是解决了梯度消失的问题，梯度消失可以通过BN来解决，但是我们发现，使用BN的plainNet仍然比不上ResNet。事实上ResNet解决的是反传回来的梯度之间的相关性问题，具体可以参考文章The Shattered Gradients Problem: If resnets are the answer, then what is the question?

通俗来说，ResNet的结构很好的管理了梯度流，残差层的结构提供了一条使梯度直接向后流动的畅通无阻的通路，使得我们能够轻易的训练几百层的深层结构！

（3）架构

完整的ResNet是残差块的堆叠，并且不使用全连接层，更多细节：

ResNet中也使用了bottleneck来提高计算效率：

6 各种架构的性能对比

其中横坐标是运算量，纵坐标是精度，圆的大小表示占用的内存大小。

7 其他架构

8 CNN架构研究现状

（1）VGG, GoogLeNet, ResNet 被广泛投入使用，其中ResNet性能最佳

（2）加深网络是一个趋势，但是也有研究表明深度并不是最重要的，宽的ResNet仍然表现很好

（3）有很多关于层之间如何连接，跳连接的研究