【论文笔记 2】CNN经典入门STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET

1. 综述

对现代的CNN网络结构进行了简要说明，一般的网络都是由卷积，池化，全连三部分组成，主要任务为

探究最大池化的作用，并尝试用（increaed stride）卷积代替
设计一整套只使用卷积的网络
通过deconvolution来进行可视化操作

近期的网络优化策略：

a plethora of extensions 使用更复杂的激活函数，正则化手法，预处理
different architectural choices 多卷积，heterogeneous（异构）modules

2.模型简介 ACN

跟传统的CNN有不同：

出除池化层，用步长为2的卷积代替
出除全连层用1X1卷积来代替

利用卷积方程和池化方程来阐述卷积的作用

其中池化为什么被使用有三个原因：

P-Norm使得网络有一定不变性，理解为平移，缩放不变性
使得能够更加清楚的看到一些大的特征
参数减少，好优化

其中最重要的是第二条，通过以下方法来替代pooling

直接出除池化层，然后增加卷积步长
用步长2，channel =3 的卷积来替换

3.实验

很细节的东西

4.反卷积

利用zelier反卷积的思想，但是因为这个网络没有池化层，所以更加的高效
反卷积从高层的feature map 出发invert the data flow 从被激活的神经元到下层图像
不用使用switch标记location

提出一种guided backpropagation

【论文笔记 2】CNN经典入门STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET相关推荐

论文笔记系列：经典主干网络（一）-- VGG
✨写在前面:强烈推荐给大家一个优秀的人工智能学习网站,内容包括人工智能基础.机器学习.深度学习神经网络等,详细介绍各部分概念及实战教程,通俗易懂,非常适合人工智能领域初学者及研究者学习.➡️点击跳转到 ...
[深度学习论文笔记][Visualizing] Striving for Simplicity: The All Convolutional Net
Springenberg, Jost Tobias, et al. "Striving for simlicity: The all convolutional net." arX ...
论文笔记（FCN网络，语义分割）：Fully Convolutional Networks for Semantic Segmentation
FCN论文笔记:Fully Convolutional Networks for Semantic Segmentation 语义分割模型结构时序: FCN SegNet Dilated Convol ...
【论文笔记】CNN for NLP
什么是Convolutional Neural Network(卷积神经网络)? 最早应该是LeCun(1998)年论文提出,其结果如下:运用于手写数字识别.详细就不介绍,可参考zouxy09的专栏, ...
[论文笔记]基于 CNN+双向LSTM 实现服饰搭配的生成
论文:<Learning Fashion Compatibility with Bidirectional LSTMs> 论文地址:https://arxiv.org/abs/1707.0 ...
[深度学习论文笔记]Multimodal CNN Networks for Brain Tumor Segmentation in MRI
Multimodal CNN Networks for Brain Tumor Segmentation in MRI: A BraTS 2022 Challenge Solution MRI中用于脑 ...
论文笔记：Stochastic Weight Completion for Road Networks using Graph Convolutional Networks
ICDE2019 pytorch 笔记: 复现论文 Stochastic Weight Completion for Road Networks using Graph Convolutional N ...
《STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET》论文学习
ABSTRCAT 如今用于目标识别的CNNs大都以相同的原则构建:卷积层与最大池化层交替,接着是少量全连接层.本文重新评估了用CNN从小图像中识别物体的技术水平,产生了对上述结构中不同成分的必要性的质 ...
论文笔记--InfGCN: Identifying influential nodes in complex networks with graph convolutional networks
目录 0 摘要 1 小白基础知识补充: 2 Introduction 3 Deep learning model(InfGCN) 3.1 构造邻居网络 3.2 基于图卷积神经网络的模型 3.2.1 输 ...

【论文笔记 2】CNN经典入门STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET

【论文笔记 2】CNN经典入门STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET

1. 综述

2.模型简介 ACN

3.实验

4.反卷积

【论文笔记 2】CNN经典入门STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET相关推荐

最新文章

热门文章