常用网络结构：Alex,VGG,Resnet对比

1：AlexNet

在这里写链接内容网络中将该模型画出来：

AlexNet相比LeNet主要的改动在于：
(1) Data Augmentation数据增长，现在的网络中已经大量使用了。最主要的是剪裁，光照变换和水平翻转。
(2) Dropout
Dropout方法和数据增强一样，都是防止过拟合的。Dropout应该算是AlexNet中一个很大的创新，以至于Hinton在后来很长一段时间里的Talk都拿Dropout说事，后来还出来了一些变种，比如DropConnect等。
(3) ReLU激活函数
用ReLU代替了传统的Tanh或者sigmoid。好处有：
ReLU本质上是分段线性模型，前向计算非常简单，无需指数之类操作；
ReLU的偏导也很简单，反向传播梯度，无需指数或者除法之类操作；
ReLU不容易发生梯度发散问题，Tanh和sigmoid激活函数在两端的时候导数容易趋近于零，多级连乘后梯度更加约等于0；
ReLU关闭了右边，从而会使得很多的隐层输出为0，即网络变得稀疏，起到了类似L1的正则化作用，可以在一定程度上缓解过拟合。
当然，ReLU也是有缺点的，比如左边全部关了很容易导致某些隐藏节点永无翻身之日，所以后来又出现pReLU、random ReLU等改进，而且ReLU会很容易改变数据的分布，因此ReLU后加Batch Normalization也是常用的改进的方法。
(4) Local Response Normalization
Local Response Normalization要硬翻译的话是局部响应归一化，简称LRN，实际就是利用临近的数据做归一化。这个策略贡献了1.2%的Top-5错误率。
(5) Overlapping Pooling
Overlapping的意思是有重叠，即Pooling的步长比Pooling Kernel的对应边要小。这个策略贡献了0.3%的Top-5错误率。

(6) 多GPU并行

（7）BN，加速收敛

常用网络结构：Alex,VGG,Resnet对比相关推荐

【卷积神经网络结构专题】ResNet及其变体的结构梳理、有效性分析
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要20分钟 Follow小博主,每天更新前沿干货 [导读]2020年,在各大CV顶会上又出现了许多基于ResNet改进的工作,比如:Res2Ne ...
CV01-语义分割笔记和两个模型VGG ResNet的笔记
目录一.语义分割二.VGG模型 2.1 VGG特征提取部分 2.2 VGG图像分类部分三.ResNet模型 3.1 为什么是ResNet 3.2 1×1卷积调整channel维度大小 3.3 R ...
CNN 常用网络结构解析 1x1 卷积运算示意图
AlexNet 网络结构: VGG : conv3x3.conv5x5.conv7x7.conv9x9和conv11x11,在224x224x3的RGB图上(设置pad=1,stride=4,outp ...
推荐系统中常用算法以及优点缺点对比
推荐系统中常用算法以及优点缺点对比 2014/09/20 [Martin导读]随着互联网特别是社会化网络的快速发展,我们正处于信息过载的时代.用户面对过量的信息很难找到自己真正感兴趣的内容,而内容提 ...
爬虫常用Xpath和CSS3选择器对比
爬虫常用Xpath和CSS3选择器对比 1. 简介 CSS是来配合HTML工作的,和Xpath对比起来,CSS选择器通常都比较短小,但是功能不够强大.CSS中的空白符' '和Xpath的'//'都表示 ...
UI设计中常用的抠图工具特点对比|优漫动游
UI设计师必学哪些技能?抠图是一个设计师必不可少的技能,不同抠图工具怎么使用?比较常见的抠图方法有钢笔.魔棒.快速选取.通道等.不同的图需要不同的方法进行抠图,每种抠图方法也各有其优点和不足,接下来优 ...
常用排序算法总结和对比
文章目录 1.常用排序算法总结和对比 2.算法的时间复杂度 3.算法的空间复杂度 1.常用排序算法总结和对比排序算法平均时间复杂度最好情况最坏情况空间复杂度排序方式稳定性冒泡排序 O( ...
吴恩达《深度学习专项》笔记（十一）: CNN示例学习：VGG, ResNet, MobileNet
学习提示上周,我们学完了CNN的基础组成模块.而从这周开始,我们要换一种学习方式:我们会认识一些经典的CNN架构,从示例中学习.一方面来说,通过了解他人的网络,阅读他人的代码,我们能够更快地掌握如何 ...
AlexNet VGGNet ResNet 对比简介
AlexNet 网络结构多GPU Relu Dropout 层叠池化图片的随机采样其他 VGGNet 网络结构 3*3 卷积核 1*1 卷积核 LRN 其他 ResNet 退化问题残差学习残 ...

常用网络结构：Alex,VGG,Resnet对比

常用网络结构：Alex,VGG,Resnet对比相关推荐

最新文章

热门文章