闪光点：LeCun在1998年提出，定义了CNN的基本组件，是CNN的鼻祖。
自那时起，CNN的最基本的架构就定下来了：卷积层、池化层、全连接层。
LetNet-5 是一种入门级的神经网络模型，是一个简单的卷积神经网络，可以用来做手写体识别
含输入层总共8层网络，分别为：输入层（INPUT）、卷积层（Convolutions,C1）、池化层（Subsampling，S2）
C3、 S4、 C5、全连接层（F6）、输出层
LeNet-5跟现有的conv->pool->ReLU的套路不同，它使用的方式是conv1->pool->conv2->pool2再接全连接层，
但是不变的是，卷积层后紧接池化层的模式依旧不变经过卷积后输出维度大小的公式：
N: 输入的维度、F：卷积核大小、stride: 步长、pad: 扩充边缘
output = (N + 2*pad -F)/stride

import 

pytorch 使用torchsummary打印网络每层形状
----------------------------------------------------------------Layer (type)               Output Shape         Param #
================================================================Conv2d-1           [-1, 64, 55, 55]          23,296ReLU-2           [-1, 64, 55, 55]               0MaxPool2d-3           [-1, 64, 27, 27]               0Conv2d-4          [-1, 192, 27, 27]         307,392ReLU-5          [-1, 192, 27, 27]               0MaxPool2d-6          [-1, 192, 13, 13]               0Conv2d-7          [-1, 384, 13, 13]         663,936ReLU-8          [-1, 384, 13, 13]               0Conv2d-9          [-1, 256, 13, 13]         884,992ReLU-10          [-1, 256, 13, 13]               0Conv2d-11          [-1, 256, 13, 13]         590,080ReLU-12          [-1, 256, 13, 13]               0MaxPool2d-13            [-1, 256, 6, 6]               0
AdaptiveAvgPool2d-14            [-1, 256, 6, 6]               0Dropout-15                 [-1, 9216]               0Linear-16                 [-1, 4096]      37,752,832ReLU-17                 [-1, 4096]               0Dropout-18                 [-1, 4096]               0Linear-19                 [-1, 4096]      16,781,312ReLU-20                 [-1, 4096]               0Linear-21                 [-1, 1000]       4,097,000
================================================================

上图 Alexnet的整个网络结构是由5个卷积层和3个全连接层组成的，深度总共8层
AlexNet针对的是1000类的分类问题，输入图片规定是256×256的三通道彩色图片，为了
增强模型的泛化能力，避免过拟合，作者使用了随机裁剪的思路对原来256×256的图像进行
随机裁剪，得到尺寸为3×224×224的图像，输入到网络训练.
注意：输入Input的图像规格： 224X224X3（RGB图像）,实际上会经过预处理变为227X227X3
因为 (224-11)/4+1 != 55，所以这里是做了padding再做卷积的，即先padiing图像至227×227，
再做卷积(227-11)/4+1 = 55AlexNet将CNN用到了更深更宽的网络中,其效果分类的精度更高相比于以前的LeNet 用到的trick：
0）数据增广技巧来增加模型泛化能力 256×256×3 -->随机裁剪224×224×3 -->进入网络
1)AlexNet使用ReLU代替了Sigmoid,其能更快的训练,同时解决sigmoid在训练较深的网络中出现的梯度消失
2)Dropout随机失活,随机忽略一些神经元,以避免过拟合
3)以前的CNN中普遍使用平均池化层,AlexNet全部使用最大池化层,避免了平均池化层的模糊化的效果,并且步长比池化的核的尺寸小,这样池化层的输出之间有重叠,提升了特征的丰富性
4)提出了LRN层,局部响应归一化 增加了泛化能力，做了平滑处理，提高了1%~2%的识别率, LRN 对局部神经元
的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元。

import 

https://zhuanlan.zhihu.com/p/79258431
VGGNet： 2014年ImageNet竞赛定位任务的第一名和分类任务的第二名的中的基础网络。
VGG16 是在 AlexNet 网络上每一层进行了改造，5个 stage 对应 AlexNet 中的5层卷积，3层全连接仍然不变
图片输入的大小还是沿用了 224x224x3
1) 共16层（不包括Max pooling层和softmax层）
2) 所有的卷积核都使用3*3的大小，max pooling池化核都使用大小为2*2
3) 采用步长stride=2，padding=0的Max pooling
4) 卷积层深度依次为64 -> 128 -> 256 -> 512 ->512VGGNet改进点总结:
1)使用了更小的3*3卷积核，和更深的网络。两个3*3卷积核的堆叠相对于5*5卷积核的视野,三个3*3
卷积核的堆叠相当于7*7卷积核的视野。 (好处：有更少的参数 3个堆叠的3*3结构只有7*7结构参数
数量的(3*3*3)/(7*7)=55% ) 另一方面拥有更多的非线性变换，增加了CNN对特征的学习能力。
2）VGG采用的是一种Pre-training的方式，先训练级别简单（层数较浅）的VGGNet的A级网络，然后使用A网络的权重来初始化后面的复杂模型，加快训练的收敛速度。
3）采用了Multi-Scale的方法来训练和预测。可以增加训练的数据量，防止模型过拟合，提升预测准确率 

# -*- coding:utf-8 -*-

Network In Network 是发表于 2014 年 ICLR 的一篇 paper。当前被引了 3298 次。这篇文章采用
较少参数就取得了 Alexnet 的效果，Alexnet 参数大小为 230M，而 Network In Network 仅为 29M，
这篇 paper 主要两大亮点：mlpconv (multilayer perceptron，MLP，多层感知机) 和Global Average Pooling（全局平均池化）。第一个卷积核是11x11x3x96,因此在一个patch块上卷积的输出是1x1x96的feature map(一个96维的向量).
在其后又接了一个MLP层,输出仍然是96.因此这个MLP层就等价于一个1 x 1 的卷积层
mlp conv另一种理解方式：在原来每一层输出后加一个 与通道数量相同1 x 1 的卷积层。
mlp conv层相当于先进行一次普通的卷积（比如3x3），紧跟再进行一次1x1的卷积。
见上图MLPCONV与CNN对比。作用:1. 其实相当于在通道之间做了特征融合。2. 每一层卷积之后加一个激活函数，比原结构多了一层激活函数，增加了结构的非线性表达能力。Global Average Pooling
整个featuremap平均池化结果作为softmax 输入，相较于Alexnet全连接的优点：1. 减少参数量（1000x1000+1000x6x6），全局平均池化没有参数，从而减轻过拟合2. 求和平均综合了整个featuremap的所有信息,全局平均池可以对空间信息进行汇总，因此对输入的空间转换具有更强的鲁棒性。3. 不限输入图片的大小

#NiN 网络由三个 mlpconv 块组成，最后一个 mlpconv 后使用全局平均池化。

对上图做以下说明：
1. 采用不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合；
2. 之所以卷积核大小采用1、3和5，主要是为了方便对齐。设定卷积步长stride=1之后，只要分别
设定pad=0、1、2，那么卷积之后便可以得到相同维度的特征，方便最后拼接在一起 out =((N + 2p -L)/s) +1
3. 文章说很多地方都表明pooling挺有效，所以Inception里面也嵌入了。
4. 网络越到后面，特征越抽象，而且每个特征所涉及的感受野也更大了，因此随着层数的增加，3x3和5x5卷积的比例也要增加。但是，使用5x5的卷积核仍然会带来巨大的计算量。 文章借鉴NIN2，采用1x1卷积核来进行降维。
例如：上一层的输出为100x100x128，经过具有256个输出的5x5卷积层之后(stride=1，pad=2)，
输出数据为100x100x256。其中，卷积层的参数为128x5x5x256。假如上一层输出先经过具有32个输出的
1x1卷积层，再经过具有256个输出的5x5卷积层，那么最终的输出数据仍为为100x100x256，但卷积参数量
已经减少为128x1x1x32 + 32x5x5x256，大约减少了4倍。

对上图说明如下：
（1）GoogLeNet采用了模块化的结构（Inception结构），方便增添和修改；
（2）网络最后采用了average pooling（平均池化）来代替全连接层，该想法来自NIN（Network in Network）事实证明这样可以将准确率提高0.6%。但是，实际在最后还是加了一个全连接层，主要是为了方便对输出进行灵活调整；
（3）虽然移除了全连接，但是网络中依然使用了Dropout ;
（4）为了避免梯度消失，网络额外增加了2个辅助的softmax用于向前传导梯度（辅助分类器）。辅助分类器是将中间某一层的输出用作分类，并按一个较小的权重（0.3）加到最终分类结果中，这样相当于做了模型融合，同时给网络增加了反向传播的梯度信号，也提供了额外的正则化，对于整个网络的训练很有裨益。而在实际测试的时候，这两个额外的softmax会被去掉。

V2优点：
1. 学习VGGNet的特点，用两个3*3卷积代替5*5卷积，降低参数量
2. 提出了著名的Batch Normalization（BN）方法，BN算法是一个正则化方法，可以提高大网络的收敛速度.BN算法:就是对输入层信息分布标准化处理，使得规范化为N(0,1)的高斯分布，收敛速度大大提高。

1. RMSProp优化器
2. Inception V3一个最重要的改进是分解（Factorization），将7x7分解成两个一维的卷积（1x7,7x1）
3x3也是一样（1x3,3x1），这样的好处，既可以加速计算，又可以将1个卷积拆成2个卷积，
使得网络深度进一步增加，增加了网络的非线性（每增加一层都要进行ReLU）。
另外，网络输入从224x224变为了299x299。

随着网络深度增加，网络的准确度应该同步增加，当然要注意过拟合问题。
但是网络深度增加的一个问题在于这些增加的层是参数更新的信号，因为梯度是从后向前传播的，
增加网络深度后，比较靠前的层梯度会很小。这意味着这些层基本上学习停滞了，这就是梯度消失问题。
深度网络的第二个问题在于训练，当网络更深时意味着参数空间更大，优化问题变得更难，因此简单地
去增加网络深度反而出现更高的训练误差，深层网络虽然收敛了，但网络却开始退化了，即增加网络
层数却导致更大的误差，比如下图，一个56层的网络的性能却不如20层的性能好，这不是因为
过拟合（训练集训练误差依然很高），这就是烦人的退化问题。残差网络ResNet设计一种残差模块让
我们可以训练更深的网络。

从上图可以看出，数据经过了两条路线，一条是常规路线，另一条则是捷径（shortcut），
直接实现单位映射的直接连接的路线，这有点类似与电路中的“短路”。通过实验，这种带有
shortcut的结构确实可以很好地应对退化问题。我们把网络中的一个模块的输入和输出关系看作是
y=H(x)，那么直接通过梯度方法求H(x)就会遇到上面提到的退化问题，如果使用了这种带
shortcut的结构，那么可变参数部分的优化目标就不再是H(x),若用F(x)来代表需要优化
的部分的话，则H(x)=F(x)+x，也就是F(x)=H(x)-x 因为在单位映射的假设中y=x就相当于观测值，
所以F(x)就对应着残差，因而叫残差网络。为啥要这样做，因为作者认为学习残差F(X)比直接学习H(X)简单！
设想下，现在我们只需要去学习输出和输入的差值(H(x)-x 即残差), 不再是学习一个完整的输出H(x),
优化起来简单很多。考虑到x的维度与F(X)维度可能不匹配情况，需进行维度匹配。这里论文中采用两种方法解决这一问题1. zero_padding:对恒等层进行0填充的方式将维度补充完整。这种方法不会增加额外的参数2. projection:在恒等层采用1x1的卷积核来增加维度。这种方法会增加额外的参数

import 

import 

官方的 B0 - B7  α β γ  params_dict = {# (width_coefficient, depth_coefficient, resolution, dropout_rate)'efficientnet-b0': (1.0, 1.0, 224, 0.2),'efficientnet-b1': (1.0, 1.1, 240, 0.2),'efficientnet-b2': (1.1, 1.2, 260, 0.3),'efficientnet-b3': (1.2, 1.4, 300, 0.3),'efficientnet-b4': (1.4, 1.8, 380, 0.4),'efficientnet-b5': (1.6, 2.2, 456, 0.4),'efficientnet-b6': (1.8, 2.6, 528, 0.5),'efficientnet-b7': (2.0, 3.1, 600, 0.5),}