带你读论文系列之计算机视觉--Inception V4
带你读论文系列之计算机视觉–Inception V4
一直在路上,不是在奔跑,就是在漫步。
前言
论文：
Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
CNN很强，例如我们的Inception；最近的resnet也很强。那强强联手会怎么样呢？
- 速度方面：残差学习可加快inception收敛；
- 精度方面：残差学习仅带来一小部分提升；
- 提出新模型；
- 提出激活值缩放技巧来训练模型；
- 在2015ILSVRC挑战中取得了 SOTA(State Of The Art), 它的性能类似于最新一代的Inception-v3 网络；
- 使用三个残差和一个Inception-v4的集合，在ImageNet classification (CLS)挑战的测试集上实现3.08%的top-5 错误。
残差Inception网络在没有残差连接的情况下比同样的Inception网络表现出色。
回顾Res Net
主要思想就是将residual和inception结构相结合，以获得residual带来的好处。
论文详情
由于Inception网络往往非常深，因此用残差连接替换Inception架构的过滤器级联阶段。
ResNet网络的亮点：
- 超神的网络结构（突破1000层）；
- 提出Residual模块；
- 使用Batch Normalization加速训练（丢弃Dropput）；
因此Inception获得残差方法的所有好处，同时保持其计算效率。
带你读论文系列之计算机视觉–GoogLeNet
带你读论文系列之计算机视觉–Inception v2/BN-Inception
带你读论文系列之计算机视觉–GoogLeNet V3
模型的参数和计算复杂性束缚了Inception V3 的性能。而Inception V4它具有比Inception V3更统一的简化架构和更多的Inception模块。
Inception V4和Inception-ResNet V2的表现相似，超过了最先进的单帧性能ImageNet验证集。
残差模块的引入。
ResNet的残差连接。
v4要针对v3进行一系列简洁的优化。
Inception的结构是很容易调节的，就是说改变一些fitler最终并不会影响结果。但是作者为了优化训练速度小心的调整了每一层的大小。现在因为tensorflow的优化功能，作者认为不需要再像以前一样根据经验小心的调整每一层，现在可以更加标准化的设置每一层的参数。而提出了Inception-V4，网络结构如下：
纯Inception-v4和Inception-ResNet-v2网络的Stem模式。这是这些网络的输入部分。
Inception V4具体的Block如下图：
纯Inception-v4网络的35×35网格模块的模式。这是Inception-V4网络结构中的Inception-A块。
纯Inception-v4网络的17×17grid模块的模式。这是Inception-V4网络结构中的Inception-B块。
纯Inception-v4网络的8×8 grid模块模式。这是Inception-V4网络结构中的Inception- C块。
35×35到17×17reduction模块的模式。
17×17到8×8grid-reduction模块的模式。这是Inception-V4网络结构中的纯Inception-v4 network使用的reduction模块。
Inception-ResNet-v1网络的35×35网格（Inception-ResNet-A）模块的模式。
Inception-ResNet-v1网络的17×17 grid（Inception-ResNet-B）模块的模式。
较小的Inception-ResNet-v1网络所使用的这个模块是"Reduction-B"17×17至8×8 grid还原模块。
Inception-ResNet-v1网络的8×8网格（Inception-ResNet-C）模块的模式。
Inception-ResNet-v1网络的主干。
Inception-ResNet-v1和Inception-ResNet-v2网络的架构。此架构适用于两个网络，但底层组件不同。
Inception-ResNet-v2具体的Block如下图：
Inception-ResNet-v2网络的35×35grid（Inception-ResNet-A）模块的模式。
Inception-ResNet-v2网络的17×17grid（Inception-ResNet-B）模块的模式。
17×17至8×8网格还原模块的模式。图中更广泛的Inception-ResNet-v1network所使用的Reduction-B模块。
Inception-ResNet-v2网络的8×8 grid（Inception-ResNet-C）模块的模式。
Inception-V4和Inception-Resnet-V2的总体结构是比较像的，都是一个stem加上多次重复的Inception或者Inception-Resnet block，然后后面再连接reduction，然后重复这样的结构几次。
三种Inception变体的Reduction-A模块的filter数量。
K代表1✖️1 Conv，l代表3✖️3 Conv，m代表 3✖️3 Conv stride为2，n代表 3✖️3 Conv stride为2。
当超过1000个卷积核时，会出现“死”神经元。在最后的平均。池化层之前会出现输出值为0 的现象。解决方案是要么减小learning rate，要么对这些层增加额外的batch normalization。
如果将残差部分缩放后再跟需要相加的层相加，会使网络在训练过程中更稳定。因此缩放块只是用一个合适的常数来缩放最后的线性激活，通常在0.1 左右，用这个缩放因子去缩放残差网络，然后再做加法。求和前进行缩放，可稳定训练。缩放系数为0.1-0.3之间。
类似的不稳定在resnet中也有resnet提出warm-up来解决。当卷积核很多，很小的学习率（0.00001）也不能让训练稳定。
scaling并不是必须的！是否找到某种应用场景，让scaling成为必须的，此为一个可研究方向。
实验
Inception-v3训练期间的TOP-1error与计算成本相似的残余Inception相比。评估是在ILSVRC-2012验证集的非黑名单图像的单一作物上进行的。Residual version 的训练速度要快得多，最终准确率也比传统的Inception-v4略高。
Single crop-Single model的实验结果。报告了ILSVRC2012验证集的非黑名单子集。
可以看出Inception-V4和Inception-ResNet-V2的差别并不大，但是都比Inception-V3和Inception-ResNet-V1都好很多。
总结
- Inception-ResNet-v1：一个混合的Inception版本
- Inception-ResNet-v2：一个成本较高的混合Inception版本，其识别能力显著提高。
- Inception-V4：纯粹的Inception变体，无残余连接，其识别能力与Inception-ResNet-v2 大致相同。
主要研究了如何用residual learning 来提升inception的训练速度（紧扣主题，residual learning 只能加快训练，对精度提升没什么用）。此外，我们最新的模型（有和没有残差连接）优于我们以前的所有网络，仅因为模型尺寸的增加。
带你读论文系列之计算机视觉--Inception V4相关推荐
- 带你读论文系列之计算机视觉--GoogLeNet
带你读论文系列之计算机视觉–GoogLeNet 0 闲谈 玩起手机,看着电视,所有的计划都被抛之脑后,此时的快乐是深夜不舍睡下的愧疚.我总是想着明天怎么,而有时不知珍惜当下:总想着那些离开的朋友,而对 ...
- 带你读论文系列之计算机视觉--DenseNet
带你读论文系列之计算机视觉–DenseNet 情若能自控,我定会按捺住我那颗吃货的心. 闲谈 今天听了师兄申请博士的经验.第一是感觉历程很心累,压力也很大:二是成功后很喜悦:三是成果很重要,其次是关系 ...
- 带你读论文系列之计算机视觉--SENet
带你读论文系列之计算机视觉–SENet 闲谈 总有那么瞬间思念远方的故人.八月十五中秋节,让我们放下繁忙工作,回家与老人团圆举杯共餐.这是我第一次没有在家过中秋,感觉也还行.现在节日没有什么节日气氛, ...
- 搞科研，从好好读论文开始：沈向洋带你读论文了
「或许你永远不知道你以前读过的书能在什么时候派上用场,但请保持阅读,因为阅读的过程也是在你大脑中建立认知的过程.」 对于科研人员来说,读论文是一种必修技能.去年,沈向洋博士曾在线上公开课<You ...
- rock带你读CornerNet-lite系列源码（二）
文章目录 前言 CorNerNet 结构 CornerNet_saccade结构 attention机制 CornerNet_Squeeze结构 构建Groundtruth 热图 focal loss ...
- 【医学图像分割】读论文系列 1
[医学图像分割]读论文系列 1 文章目录 [医学图像分割]读论文系列 1 Title Introduction Abstract Keyword Method Experiment Conclusio ...
- 读论文系列(二)Convolutional Neural Networks over Tree Structures for Programming Language Processing
系列文章目录 读论文系列(一)Automated software vulnerability detection with machine learning 文章目录 系列文章目录 Keywards ...
- 【一起读论文系列1】基于压缩感知的语音编解码方向研究
[一起读论文系列1]基于压缩感知的语音编解码方向研究 2109,李俊鑫,基于压缩感知的快速语音编解码方法研究 1207,李尚靖,基于压缩感知的语音数字编码技术研究 引申资料 搜索关键词:compres ...
- 员外带你读论文：SeqGAN论文分享
本次要分享和总结的论文为:,其论文链接SeqGAN,源自 ,参考的实现代码链接代码实现. 本篇论文结合了 和 的知识,整篇论文读下来难度较大,在这里就浅薄的谈下自己的见解. 好了,老规矩,带着代码 ...
- 员外带你读论文：LINE: Large-scale Information Network Embedding
本次要总结和分享的论文是 LINE: Large-scale Information Network Embedding,其链接 论文[1],所参考的实现代码 code[2],这篇论文某些细节读起来有 ...
最新文章
- Linux Mount Windows域用户限制的共享文件夹
- python正则表达式（三）
- windows server系统，登录系统提示按下 ctrl+alt+delete
- Android CountDownTimer倒计时器的使用
- golang map 初始化 和 使用
- 三种睡眠时间函数的区别：linux 的sleep()、usleep()、nanosleep()函数
- php 执行命令屏幕输出捕捉,在php执行linux命令时显示所有输出
- VTK：迭代最近点变换用法实战
- android之Fragment（官网资料翻译）三
- 敏捷开发流程下的测试(一)敏捷测试核心
- 下载silverlight官网的全部视频教程
- 01-mnist数字识别
- 快乐机：人活着真的只为追求快乐吗？
- 星空投影夜灯-隐私政策协议
- luogu 2411 白银莲花池 luogu 1606 Lilypad Pond
- “七彩”糖果-吕中琪
- keydown、input、keyup
- ubuntu16.04下qt5.14报错：/home/XXXXX/Qt5.14.1/5.14.1/gcc_64/include/QtGui/qopengl.h:141: error: GL/
- 美国留学申请干货--转自 AdmitWrite留学（无图）
- 【TP5.1】树状导航栏（无极限分类）