Striving For Simplicity: The All Convolution Net 简析
转载【https://blog.csdn.net/qinqbaobei/article/details/54092619】
Striving For Simplicity: The All Convolution Net 是ICLR 2015的一篇论文，作者Jost Tobias Springenberg , Alexey Dosovitskiy , Thomas Brox, Martin Riedmiller
简介
本文抛弃了以往物体检测CNN网络中的池化层和全连接层，通过使用步长更大的卷积层来代替池化以及使用卷积核为1的卷积层来代替全连接层，在cifar-10和cifar-100上取得了很好的效果，并在imageNet上有很好的竞争力。
如何提高网络性能
大量用于关于物体检测的卷积神经网络都采用相似的设计方式，使用可变的卷积层和池化层并加小数量的全连接层。在如何增强这种设计思想网络性能上，很多人进行了探索：
1.使用更复杂的激活函数，使用改善的regularization，以及利用标签信息进行layer-wise的预训练
2.使用不同的CNN架构
本文作者通过对不同数据集上进行实验，发现仅仅使用卷积层的网络结构并不会对物体检测的性能产生影响。池化层的存在并非必要，可以使用步长较大的卷积层进行替代。
池化层的作用
对于池化层作用的完整解释很难给出，作者假定池化层通过以上三个方面来对CNN的性能产生帮助：
1.p-norm使CNN的表示更具不变性（invariant）
2.降维使高层能够覆盖输入层的更多部分
3.feature-wise的特性更容易优化
假设上面的第二点即降维对与CNN的性能提升至关重要，我们可以通过使用下面两种方法来代替池化层取得相似的降维效果：
1.直接移除池化层病增大卷积层的步长
2.使用步长大于1的卷积层来代替池化层
第一种方法等价于池化操作但仅考虑了顶部左侧的特征响应，因而可能会降低检测的准确率。另外使用卷积层代替池化层除非对权值矩阵进行限制，否则会增加特征之间的依赖性。
作者将代替市委学习的过程，并做了相应的实验进行评估。
网络模型的不同
前面已经提到了论文网络模型相较于以往CNN的不同之处，在这里进行说明：
1.使用stride大于1的卷积层代替以往CNN中的池化层（下采样层）
2.使用filter大小为1*1的卷积层代替全脸阶层
整个网络模型完全只有卷积层，在softmax层之前使用全局平均。
实验
作者对使用三种模型在cifar-10和cifar-100以及imageNet上进行实验，实验结果以及网络模型见图。
结论
cifar数据集上，论文使用全卷积获得了超过state-of-the-art的效果。作者通过实验发现，使用maxpooling病不能总是提升CNN网路的性能，特别当使用特别大的网络这种网络通过卷积层即可学的相应数据集的必要不变特征时。
Striving For Simplicity: The All Convolution Net 简析相关推荐
- 深度学习的可解释性——Striving For Simplicity: The All Convolution Net
Striving For Simplicity: The All Convolution Net 是ICLR 2015的一篇论文,作者Jost Tobias Springenberg , Alexey ...
- Striving For Simplicity: The All Convolution Net
Striving For Simplicity: The All Convolution Net 是ICLR 2015的一篇论文,作者Jost Tobias Springenberg , Alexey ...
- [2020-CVPR] Dynamic Region-Aware Convolution 论文简析
[2020-CVPR] Dynamic Region-Aware Convolution 论文简析 论文地址:https://arxiv.org/abs/2003.12243 参考代码地址(非官方): ...
- 【论文笔记 2】CNN经典入门STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET
[论文笔记 2]CNN经典入门STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET 1. 综述 对现代的CNN网络结构进行了简要说明,一般的网络都是由卷 ...
- android中so文件格式详解,[原创]一 Android ELF系列:ELF文件格式简析到linker的链接so文件原理分析...
Android ELF系列:ELF文件格式简析和linker的链接so文件原理分析 Android ELF系列:实现一个so文件加载器 Android ELF系列:手写一个so文件(包含两个导出函数) ...
- 【Golang源码分析】Go Web常用程序包gorilla/mux的使用与源码简析
目录[阅读时间:约10分钟] 一.概述 二.对比: gorilla/mux与net/http DefaultServeMux 三.简单使用 四.源码简析 1.NewRouter函数 2.HandleF ...
- 简析平衡树（三）——浅谈Splay
前言 原本以为\(Treap\)已经很难了,学习了\(Splay\),我才知道,没有最难,只有更难.(强烈建议先去学一学\(Treap\)再来看这篇博客) 简介 \(Splay\)是平衡树中的一种,除 ...
- 基于libmad库的MP3解码简析
基于libmad库的MP3解码简析 MAD (libmad)是一个开源的高精度 MPEG 音频解码库,支持 MPEG-1(Layer I, Layer II 和 LayerIII(也就是 MP3). ...
- 简析 .NET Core 构成体系
简析 .NET Core 构成体系 Roslyn 编译器 RyuJIT 编译器 CoreCLR & CoreRT CoreFX(.NET Core Libraries) .NET Core 代 ...
最新文章
- 记mysqldump导出导入数据库的一个小问题~
- 理性教育~值得借鉴~
- CV：基于Keras利用训练好的hdf5模型进行目标检测实现输出模型中的脸部表情或性别的gradcam(可视化)
- 用户表如何存放用户密码
- 宿迁市烟草专卖局(公司)系统信息系统运行维护管理办法（试行）
- 安卓暗黑模式软件_程序员欢呼！微软 GitHub 安卓版 App 发布预览：支持暗黑模式...
- 微机 —— 8086微处理器的内部结构
- 微信语音对方无法听到声音解决办法
- ie 打开html文件 慢,win7系统使用ie浏览器访问网页显示缓慢、卡死的解决方法
- 有效期5年，亳州市推进知识产权高质量发展扶持政策发布
- QT 使用QModbus类实现modbus TCP踩过的坑
- 桌面上计算机图标老是自动删除,win7系统总是自动删除桌面快捷方式怎么办
- 2021-02-22
- 无社交，不创业：2017松松兄弟上海聚会剧透
- 乌镇互联网大会：大佬们都爱AI
- 【Linux】安装和配置METIS
- 机器学习--最大熵模型
- 修炼内功——理解函数栈帧创建和销毁
- 彩色图片亮度放大后 色彩不失真的方法
- java俄罗斯方块程序_使用JAVA编写的俄罗斯方块程序, 具有非常全面的功能.