《STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET》论文学习
ABSTRCAT
如今用于目标识别的CNNs大都以相同的原则构建：卷积层与最大池化层交替，接着是少量全连接层。本文重新评估了用CNN从小图像中识别物体的技术水平，产生了对上述结构中不同成分的必要性的质疑。我们发现，在几个基本图像识别数据集上，最大池化层可以简单地被具有更大步长的卷积层代替。根据这种猜想，我们提出了一种新的架构，其仅由卷积层组成，并且在几个目标识别数据集上(CIFAR-10, CIFAR-100, ImageNet)产生了具有竞争性的或是当前最好的表现。为了分析网络，我们引入了一种新的“反卷积方法”变体，用于可视化CNN学习的特征，它可以比现有方法应用于更广泛的网络结构。
1 INTRODUCTION AND RELATED WORK
现有CNNs在各层之间使用分段线性激活函数。在使用dropout训练期间，网络参数通常被参数化为大规模、规则化。过去几年来，大量的研究集中于提高这一基本流程的性能。有两个主要的方向:1，A plethora of extensions被提出用于改进遵循这种规则的网络，这些工作中最显著的方向是使用更复杂的激活函数。2，最值得注意的是，2014年ImageNet挑战中的顶级条目偏离了标准设计原则，通过在池化层之间引入多个卷积（Simonyan＆Zisserman，2014），或者在每层中构建模块来执行不同规模的卷积与池化。
由于所有这些扩展和不同的体系结构都带有自己的参数和训练过程，因此问题出现了，为了在当前目标识别数据集上实现最佳性能，CNNs的那些成分是真正必须的。我们首先通过研究我们可以设想的最简单的体系结构来回答这个问题：一个完全由卷积层组成的均匀网络，偶尔通过使用2步长降低维度。令人惊讶的是，我们发现这个基本架构 - 使用vanilla stochastic gradient descent with momentum进行训练就可以达到最先进的性能，无需复杂的激活函数，任何响应标准化或最大池化。我们通过对CIFAR-10进行ablation study并将我们的模型与CIFAR-10，CIFAR-100和ILSVRC-2012 ImageNet数据集的现有最佳技术进行比较，从而凭经验研究从更标准的体系结构过渡到我们的简化CNN的效果。由于在我们的体系结构中降维是通过逐步卷积而不是最大化汇集进行的，因此它自然也适用于研究有关神经网络可逆性的问题，为了朝这个方向迈出第一步，我们使用类似于Zeiler＆Fergus（2014）的去卷积方法来研究我们网络的特性。
2 MODEL DESCRIPTION - THE ALL CONVOLUTIONAL NETWORK
实验中我们所用模型与标准的CNNs在几个关键方面有所不同。第一，我们用步长为2的标准卷积层取代了实践中用于目标识别的CNNs都会出现的池化层。为了理解为什么这个过程能够起作用，我们需要回顾用于定义CNN中的卷积和合并操作的标准公式。令 f f {f}由一个CNN的某些层产生的feature map。它可以描述为一个W*H *N的三维数组，其中W和H是图像的宽和高，N是通道数量，为防止 f f {f}是一个卷积层的输出，N是本层滤波器的数量。
待续
《STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET》论文学习相关推荐
- 【论文学习笔记】《A Review of Deep Learning Based Speech Synthesis》
基于深度学习的语音合成综述论文学习 文章目录 基于深度学习的语音合成综述论文学习 1 简介 2 语音合成概述 2.1 语音合成概念 2.2 语音合成发展历史 2.3 传统语音合成技术 2.3.1 拼接 ...
- 论文学习之综述：《Deep learning》
论文学习之综述:<Deep learning> 文章目录 论文学习之综述:<Deep learning> 前言: 第一部分:深度学习基础(1-4)页 作者介绍: 前期知识储备: ...
- 论文翻译：2021_语音增强模型压缩_Towards model compression for deep learning based speech enhancement...
论文地址:面向基于深度学习的语音增强模型压缩 论文代码:没开源,鼓励大家去向作者要呀,作者是中国人,在语音增强领域 深耕多年 引用格式:Tan K, Wang D L. Towards model c ...
- 综述：基于深度学习的文本分类 --《Deep Learning Based Text Classification: A Comprehensive Review》总结(一)
文章目录 综述:基于深度学习的文本分类 <Deep Learning Based Text Classification: A Comprehensive Review>论文总结(一) 总 ...
- 论文详读：LEMNA: Explaining Deep Learning based Security Applications
我以我ppt的内容顺序介绍一下这篇论文,希望有错误的地方大家可以帮我指出嘻嘻 1.论文出处 论文名:LEMNA: Explaining Deep Learning based Security App ...
- 【论文学习笔记】《Parallel WaveNet: Fast High-Fidelity Speech Synthesis》
Parallel WaveNet 论文学习 文章目录 Parallel WaveNet 论文学习 1 简介 2 WaveNet 介绍 3 Parallel WaveNet 介绍 4 概率密度蒸馏 4. ...
- Deep Learning论文笔记之（八）Deep Learning最新综述
Deep Learning论文笔记之(八)Deep Learning最新综述 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完 ...
- 【论文学习】《“Hello, It’s Me”: Deep Learning-based Speech Synthesis Attacks in the Real World》
<"Hello, It's Me": Deep Learning-based Speech Synthesis Attacks in the Real World>论文 ...
- 综述论文翻译：A Review on Deep Learning Techniques Applied to Semantic Segmentation
综述论文翻译:A Review on Deep Learning Techniques Applied to Semantic Segmentation 近期主要在学习语义分割相关方法,计划将arXi ...
- 论文翻译七：Adversarial Transfer Learning for Deep Learning Based Automatic Modulation Classification
30天挑战翻译100篇论文 坚持不懈,努力改变,在翻译中学习,在学习中改变,在改变中成长- Adversarial Transfer Learning for Deep Learning Based ...
最新文章
- 仿简书、淘宝等等App的View弹出效果
- 前端笔记-css实现web自适应（当像素小于xx时隐藏此div）
- 2月26日 光流，跟踪算法的尝试
- 社区论坛小程序源码，功能齐全，简洁漂亮，前端+后端
- 聊天类APP的测试点
- vb.net 教程6-8 线程优先级
- 浏览器怎么导入导出|删除书签，方法步骤来咯
- H5页面唤起微信等app
- 自习室 《大学生创新创业课程设计》
- 大胖子走迷宫（蓝桥杯真题）
- 笔记本无法使用计算机,电脑Win快捷键失灵不能用的两种处理方法
- Java用jxl对表格的数值进行比对
- 基于可编辑DIV的带表情编辑器
- windows快捷键，选中鼠标所指以上或以下内容
- 微信小程序管理客服微信号
- my ReadHumor work / youmo
- box-shadow的具体使用方法（一分钟详解）
- 开原框架RxJava
- 什么是 bigkey？
- CodeForces - 371D. Vessels（并查集）