1.LeNet

2.AlexNet

特点：1.加入relu
2.加入dropout
3.用最大池化替代之前网络用的平均池化，避免模糊

3.VGG16

反复堆叠33的小型卷积核和22的最大池化层，

4.Inception网络 -googlenet

对上图做以下说明：

1 . 采用不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合；

2 . 之所以卷积核大小采用11、33和5*5，主要是为了方便对齐。设定卷积步长stride=1之后，

只要分别设定padding =0、1、2，采用same卷积可以得到相同维度的特征，然后这些特征直接拼接在一起；

3 . 文章说很多地方都表明pooling挺有效，所以Inception里面也嵌入了pooling。

4 . 网络越到后面特征越抽象，且每个特征涉及的感受野也更大，随着层数的增加，3x3和5x5卷积的比例也要增加。

Inception的作用：代替人工确定卷积层中的过滤器类型或者确定是否需要创建卷积层和池化层，即：不需要人为的

决定使用哪个过滤器，是否需要池化层等，由网络自行决定这些参数，可以给网络添加所有可能值，将输出连接

起来，网络自己学习它需要什么样的参数。

naive版本的Inception网络的缺陷：计算成本。使用5x5的卷积核仍然会带来巨大的计算量，约需要1.2亿次的计算量。

为减少计算成本，采用1x1卷积核来进行降维
inception-v1

Inception-v2
1.提出了Batch Normalization
2.就是稍微改进了一下Inception。把Inception-v1中55的卷积用2个33的卷积替换，

Inception-v3
1.卷积核分解，将nn的卷积核替换成 1n 和 n*1 的卷积核堆叠，计算量又会降低，可以多引入一层非线性。

Inception-v4
引入残差连接

5.Resnet

kaiming:若某一较深的网络多出另一较浅网络的若干层有能力学习到恒等映射,那么这一较深网络训练得到的模型性能一定不会弱于该浅层网络. 通俗的说就是如果对某一网络中增添一些可以学到恒等映射的层组成新的网路,那么最差的结果也是新网络中的这些层在训练后成为恒等映射而不会影响原网络的性能

6.DenseNet

DenseNet作为另一种拥有较深层数的卷积神经网络,具有如下优点:

(1) 相比ResNet拥有更少的参数数量.

(2) 旁路加强了特征的重用.

(3) 网络更易于训练,并具有一定的正则效果.

(4) 缓解了gradient vanishing和model degradation的问题.

DenseNet的主体框架（在每个Dense Block内部采用了密集连接，而在相邻的Dense Block之间采用的时Conv+Pool的方式）

创新点：

对比于ResNet的Residual Block，创新性地提出Dense Block，在每一个Dense Block中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入。通过密集连接，缓解梯度消失问题，加强特征传播，鼓励特征复用，极大的减少了参数量。

LeNet，AlexNet,Inceptionv1,2,3,4,vgg,resnet,DenseNet，网络图解对比相关推荐

【AI面试题】AlexNet、VGGNet、GoogLeNet，ResNet等网络之间的区别是什么
AlexNet: AlexNet相比传统的CNN,主要改动包括Data Augmentation(数据增强).Dropout方法,激活函数用ReLU代替了传统的Tanh或者Siigmoid.采用了Lo ...
计算机视觉：基于眼疾分类数据集iChallenge-PM图像分类经典模型剖析(LeNet,AlexNet,VGG,GoogLeNet,ResNet)
计算机视觉:图像分类经典模型 LeNet AlexNet VGG GoogLeNet ResNet 图像分类是根据图像的语义信息对不同类别图像进行区分,是计算机视觉的核心,是物体检测.图像分割.物体跟 ...
LeNet,AlexNet,VGG,NiN,GoogLeNet,ResNet
1.LeNet–早期成功的神经网络 LeNet 分为卷积层块和全连接层块两个部分,卷积层块⾥的基本单位是卷积层后接最⼤池化层. 使用卷积层来学习图片空间信息,通过池化层降低图片敏感度使用全连接层来转 ...
PyTorch - FashionMNIST + LeNet / AlexNet / VGG / GooLeNet / NiN / ResNet / DenseNet
文章目录项目说明数据集说明 - FashionMNIST 算法说明 - LeNet-5 LeNet-5 网络结构代码实现数据准备下载数据集查看数据定义网络训练设置参数训练方法验证 ...
CNN基本步骤以及经典卷积(LeNet、AlexNet、VGGNet、InceptionNet 和 ResNet)网络讲解以及tensorflow代码实现
课程来源:人工智能实践:Tensorflow笔记2 文章目录前言 1.卷积神经网络的基本步骤 1.卷积神经网络计算convolution 2.感受野以及卷积核的选取 3.全零填充Padding 4. ...
自组网训练生成模型并推理模型完整流程，代码展示LeNet -＞ AlexNet -＞ VGGNet -＞ InceptionNet -＞ ResNet优化过程
项目简介本项目基于20种蝴蝶分类基础上做一个深入浅出的代码理解,及其对数据预处理,自定义数据读取器Reader(Dataset),及其输出final.pdparams,final.pdopt模型,利 ...
caffe总结（五）经典神经网络模型（LeNet , AlexNet , VGG , GoogLeNet）简介
caffe总结(五) 一.LeNet 二.AlexNet ReLU 数据扩充重叠池化局部归一化(Local Response Normalization,简称LRN) Dropout 三.VGG ...
【深度学习】MLP/LeNet/AlexNet/GoogLeNet/ResNet在三个不同数据集上的分类效果实践
本文是深度学习课程的实验报告使用了MLP/LeNet/AlexNet/GoogLeNet/ResNet五个深度神经网络模型结构和MNIST.Fashion MNIST.HWDB1三个不同的数据集,所 ...
经典卷积网络---LeNet、AlexNet、VGGNet、InceptionNet、ResNet [北京大学曹健老师人工智能学习笔记]
LeNet-卷积神经网络的开篇之作 Yann LeCun于1998年提出,通过共享卷积核减少了网络的参数. LeNet有2个卷积层和3个全连接层在特征提取阶段,卷积层以外的标准化.池化.激活等都看做 ...
CNN 常用的几个模型 LeNet5 AlexNet VGGNet Google Inception Net 微软ResNet残差神经网络
LeNet5 LeNet-5:是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络,当年美国大多数银行就是用它来识别支票上面的手写数字的,它是早期卷积神经网络中最有代表性的实验系统之 ...

LeNet，AlexNet,Inceptionv1,2,3,4,vgg,resnet,DenseNet，网络图解对比