ZFNet: Visualizing and Understanding Convolutional Networks
目录
- 论文结构
- 反卷积
ZFnet的创新点主要是在信号的“恢复”上面,什么样的输入会导致类似的输出,通过这个我们可以了解神经元对输入的敏感程度,比如这个神经元对图片的某一个位置很敏感,就像人的鼻子对气味敏感,于是我们也可以借此来探究这个网络各层次的功能,也能帮助我们改进网络。
论文结构
- input: \(3 \times 224 \times 224\), filter size: 7, filter count: 96, stride: 2, padding: 1, 我觉得是要补一层零的,否则输出是109而不是110-->ReLU --> maxpool: size: \(3 \times 3\), stride: 2, 似乎这里也要补一层零, 否则 \(\lfloor \frac{110-3}{2}+1 \rfloor=54\) --> contrast normalized;
- input: \(96 \times 55 \times 55\), filter size: 5, count: 256, stride: 2, padding: 0 --> ReLU --> maxpool: size: \(3 \times 3\), stride: 2, padding: 1--> contrast normlized;
- input: \(256 \times 13 \times 13\), filter size: 3, count: 384, stride: 1, padding: 1 --> ReLU
- input: \(384 \times 13 \times 13\), filter size: 3, count: 384, stride: 1, padding: 1 --> ReLU
- input: \(384 \times 13 \times 13\), filter size: 3, count: 256, stride: 1, padding: 1 --> ReLU --> maxpool: size: 3, stride: 2, padding: 0 --> contrast normlized?
- input: \(6 * 6 * 256\) -- > 4096 -- > ReLU -- > Dropout(0.5)
- input: 4096 -- > 4096 --> ReLU -- > Dropout(0.5)
- input: 4096 --> numclass ...
反卷积
网上看了很多人关于反卷积的解释,但是还是云里雾里的.
先关于步长为1的,不补零的简单情况进行分析吧, 假设:
input: \(i \times i\),
kernel_size: \(k \times k\) ,
stride: 1,
padding: 0
此时输出的大小\(o\)应当满足:
\[ i = k + o - 1 \Rightarrow o = i-k+1 \]
现在,反卷积核大小依旧为\(k'=k\), 那么我们需要补零\(c'\)为多少才能使得反回去的特征大小为\(i\).
即:
\[ 2c' + o = k + i-1 \Rightarrow c'= k-1 \]
即我们要补零\(c'=k-1\).
如果stride 不为1呢?设为\(s\), 那么:
\[ i = k + s(o-1) \Rightarrow o = \frac{i-k}{s}+1 \]
按照别的博客的说话,需要在特征之间插入零那么:
\[ 2c'+(s-1)(o-1) +o= k+s'(i-1) \]
如果我们希望\(s'=1\)(至于为什么希望我不清楚):
\[ c' = k-1 \]
如果还有补零\(p\):
\[ i+2p = k+s(o-1) \]
但是回去的时候我们是不希望那个啥补零的,所以:
\[ 2c'+(s-1)(o-1) +o= k+s'(i-1) \]
不变,
如果\(s'=1\), 结果为:
\[ c' = k-p-1 \]
最大的问题是什么,是why! 为什么要这样反卷积啊?
转载于:https://www.cnblogs.com/MTandHJ/p/11231080.html
ZFNet: Visualizing and Understanding Convolutional Networks相关推荐
- 图像分类经典卷积神经网络—ZFNet论文翻译(中英文对照版)—Visualizing and Understanding Convolutional Networks(可视化和理解卷积网络)
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[ZFNet纯中文版] Visualizing and Understanding Con ...
- Visualizing and Understanding Convolutional Networks
目录 1.引言 1.1相关工作 2.方法 3.训练细节 4.1 结构选择 4.2 闭塞敏感性 4.3对应分析(缺失公式) 5.实验 5.1 ImageNet 2012 5.2 特征概括 6.结论 可视 ...
- Visualizing and Understanding Convolutional Networks - 可视化和理解卷积网络 - 看懂卷积网络
Visualizing and Understanding Convolutional Networks 可视化和理解卷积网络 - 看懂卷积网络 Matthew D Zeiler, Rob Fergu ...
- 【ZFNet】Visualizing and Understanding Convolutional Networks (2013) 全文翻译
作者:Matthew D. Zeiler and Rob Fergus (Dept. of Computer Science, New York University, USA, {zeiler,fe ...
- Fully Convolutional Networks for semantic Segmentation(深度学习经典论文翻译)
原文链接:https://www.cnblogs.com/xuanxufeng/p/6249834.html 摘要 卷积网络在特征分层领域是非常强大的视觉模型.我们证明了经过端到端.像素到像素训练的卷 ...
- VGGNet论文翻译-Very Deep Convolutional Networks for Large-Scale Image Recognition
Very Deep Convolutional Networks for Large-Scale Image Recognition Karen Simonyan[‡] & Andrew Zi ...
- Very Deep Convolutional Networks for Large-Scale Image Recognition—中英文对照
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书 翻译论文汇总:https://github.com/SnailTyan/deep-learning-papers- ...
- 译:Two-stream convolutional networks for action recognition in videos
该篇文章为视频识别十分经典的一篇论文也是入门文章,开创了比较经典的双流(时间流+空间流)神经网络,本人发现很多大神博主翻译的论文不是特别完整,故按照原文与个人理解整理完整翻译见下. 摘要:我们研究了用 ...
- 论文研读 —— 7. Very Deep Convolutional Networks for Large-Scale Image Recognition (2/3)
文章目录 3. Classification Framework 3.1. Training 3.2. Testing 3.3. Implementation Details 4. Classific ...
最新文章
- POJ1067_取石子游戏_威佐夫博弈
- 2021山西高考成绩位次查询,2021年山西高考位次查询及一分一段表排名查询
- 3. SQL -- 存储过程
- php oracle 锁表,频繁使用的一张表经常好被锁死?怎样处理!
- 前端进阶必备Node.js,你得了解一下
- C#的foreach
- kotlin半生对象_如何在Kotlin中使用Actor实现对象池
- DataTable操作相关实例
- firewalld的配置和使用
- 字节跳动专家会_年薪30万60万!字节跳动招这个语系的语言专家!
- Java .net 心得_我做英文站的心得-如何做好英文站 - 程序员日记 - 做人做技术【关注.NET和JAVA】...
- 创建一个cocos2d-x工程添加一个自定义Scene并显示
- 编译caffe错误查询
- python的序列之列表
- java yaml_Java 使用snakeyaml解析yaml
- origin 页边距紧凑设置
- 网络编程(三):网络中的端口号
- 微信打开h5链接,缓存未清除解决办法
- 程序员,隐藏的段子手
- 设计模式(二)——UML类图怎么画
热门文章
- 二流学校的计算机博士,“二流大学”的博士,值得读吗?想的尴尬症都犯了
- linux新建java文件夹删除不了怎么办_Linux无法删除文件夹 Device or resource busy
- android 屏幕录制方案,Android录制屏幕的实现方法
- fat jar包缺点_什么是fat JAR?
- j2ee核心模式_Java设计模式是什么?
- word2vec原理_初识word2vec词向量
- python什么是可变参数_详解Python的三种可变参数
- envi栅格TIF数据进行分割_栅格数据镶嵌
- java中常见英文单词_JAVA中常见的英文单词
- 汇编学习--7.16--int指令