AlexNet,VGG,GoogleNet,ResNet

AlexNet:

VGGNet：

用3x3的小的卷积核代替大的卷积核，让网络只关注相邻的像素

3x3的感受野与7x7的感受野相同，但是需要更深的网络

这样使得参数更少

大多数内存占用在靠前的卷积层，大部分的参数在后面的全连接层

GoogleNet：

Inception模块：设计了一个局部网络拓扑结构，然后堆放大量的局部拓扑在每一个的顶部

目的是将卷积和池化（filter）操作并行，最后在顶层将得到的输出串联得到一个张量进入下一层

这种做法会增加庞大的计算量：

（图中输入输出尺寸不变是因为增加了零填充）

为了降低计算量，会在inception之前增加一个瓶颈层通过1x1的卷积核进行降维操作

相比没有1x1卷积核的降维，计算量从8.54亿次减小到3.58亿次

网络结构尾部完全移除全连接层，大量减少参数；有两个额外的辅助分类层

ResNet：

单纯不停的堆叠卷积层池化层plain convolutional neural network不使用残差结构）来加深网络的深度并不能表现得更好（不是因为过拟合，在训练集上表现得也不如20层的网络）

这是一个优化问题，深层的网络更加难以优化

深层的网络至少会跟浅层的网络表现的一样好，解决方案是将从浅层模型学到的层通过恒等映射copy到较深的层。

若将输入设为X，将某一有参网络层设为H，那么以X为输入的此层的输出将为H(X)。一般的CNN网络如Alexnet/VGG等会直接通过训练学习出参数函数H的表达，从而直接学习X -> H(X)。

而残差学习则是致力于使用多个有参网络层来学习输入、输出之间的参差即H(X) - X即学习X -> (H(X) - X) + X。其中X这一部分为直接的identity mapping，而H(X) - X则为有参网络层要学习的输入输出间残差。

残差学习单元通过Identity mapping的引入在输入、输出之间建立了一条直接的关联通道，从而使得强大的有参层集中精力学习输入、输出之间的残差。一般我们用F(X, W_i)来表示残差映射，那么输出即为：Y = F(X, W_i) + X。

resnet也用到了GoogleNet中的瓶颈层操作

改进的残差：

其他的网络：

转载于:https://www.cnblogs.com/Manuel/p/11090339.html

AlexNet,VGG,GoogleNet,ResNet相关推荐

计算机视觉：基于眼疾分类数据集iChallenge-PM图像分类经典模型剖析(LeNet,AlexNet,VGG,GoogLeNet,ResNet)
计算机视觉:图像分类经典模型 LeNet AlexNet VGG GoogLeNet ResNet 图像分类是根据图像的语义信息对不同类别图像进行区分,是计算机视觉的核心,是物体检测.图像分割.物体跟 ...
caffe总结（五）经典神经网络模型（LeNet , AlexNet , VGG , GoogLeNet）简介
caffe总结(五) 一.LeNet 二.AlexNet ReLU 数据扩充重叠池化局部归一化(Local Response Normalization,简称LRN) Dropout 三.VGG ...
Keras封装实现经典深度网络框架 VGG-16, ZF-Net,Alex-Net,LeNet,Google-Net,ResNet, DenseNet-50
文章目录 1.Keras封装实现 LeNet网络-5(1998) 2.Keras封装实现 Alex-Net网络-8(2012) 3.Keras封装实现 ZF-Net网络-8(2013) 4.Keras ...
CNN经典网络模型综述及发散思考(LeNet/ AlexNet/VGGNet/GoogLeNet/ResNet)
目录一. 背景成功原因设计目标二. 经典网络模型 LeNet(1990 年) 网络特点 AlexNet(2012年) 网络特点 VGGNet(2014年) 网络特点发散思考 GoogLeNe ...
经典网络结构学习(LeNet-5,AlexNet,VGG,GoogLeNet)
致读者: 本篇文章是笔者的学习笔记,仅做记录用,而不作任何指导作用,大家阅读时请带着批判的眼光看待,如有错误欢迎指出. 文章目录 0 基础知识 0.1 卷积核与输入 0.2 Batch Norm 0. ...
CNN经典网络模型:LeNet,Alexnet,VGGNet,GoogleNet,ReSNet
关于卷积神经网络CNN,网络和文献中有非常多的资料,我在工作/研究中也用了好一段时间各种常见的model了,就想着简单整理一下,以备查阅之需.如果读者是初接触CNN,建议可以先看一看"Dee ...
CNN的发展历史（LeNet,Alexnet,VGGNet,GoogleNet,ReSNet）
欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 关于卷积神经网络CNN,网络和文献中有非常多的资料,我在工作/研究中也用了好一段时间各种常见的model了, ...
Deep Learning回顾#之LeNet、AlexNet、GoogLeNet、VGG、ResNet
CNN的发展史上一篇回顾讲的是2006年Hinton他们的Science Paper,当时提到,2006年虽然Deep Learning的概念被提出来了,但是学术界的大家还是表示不服.当时有流传的段 ...
Deep Learning回顾之LeNet、AlexNet、GoogLeNet、VGG、ResNet
from:#Deep Learning回顾#之LeNet.AlexNet.GoogLeNet.VGG.ResNet CNN的发展史上一篇回顾讲的是2006年Hinton他们的Science Pape ...

AlexNet,VGG,GoogleNet,ResNet

AlexNet,VGG,GoogleNet,ResNet相关推荐

最新文章

热门文章