ZFNet

1、四个问题

要解决什么问题？
- 卷积神经网络具有很好的效果，在ImageNet上取得了开创性的成果，但是我们对其却没有一个直观的认识，以及它为何效果这么好，全当成黑盒子来用。
用了什么方法解决？
- 提出了一个新的卷积神经网络可视化技术，来辅助观察中间层以及最后的分类层的输出特征图。
- 提出了ZFNet，并应用了反卷积技术来做可视化。
效果如何？
- ZFNet的效果在ImageNet上超过了AlexNet，这篇论文是14年的，放到现在效果不算最好。
- 中间层可视化，不同层注重的部分可以较明显地看出来。
还存在什么问题？
- 这篇文章主要是帮助理解CNN内部工作机制的，了解思路就足够了。

2、论文概述

2.1、实现方法

实验主要使用AlexNet和LeNet。
使用反卷积（deconvnet）网络来进行可视化操作。提出了一种将激活值映射回输入时的像素空间的方法，从结果可以看出输入特征图的哪些部分造成了特征图的激活。
网络的每一层都使用一个反卷积得到像素级的输出，输入是feature map，输出是图像像素，如下图所示。右图是正常卷积过程，左图是反卷积过程。

过程分为三部分：unpooling --> rectification -->filtering。
- unpooling（反池化）：卷积神经网络中的max_pooling操作是不可逆的，但是可以用一组switch变量来记录它激活的位置（每个pooling region中最大值的位置），来进行一个近似的反卷积。
- rectification（ReLU激活）：卷积神经网络中使用ReLU作为激活函数，ReLU的性质就是正值部分保留不变，其余置0。我们重构时，也可以使用ReLU进行激活，结果不变。
- filtering（反卷积，deconv）：CNN使用训练得到的卷积核对前一层的输入进行卷积得到特征图，反卷积就是将这个过程反过来，使用那些卷积核的转置对下一层进行卷积，得到前面层的值。注意到，这里对卷积核的操作是转置，所以也叫作“转置卷积”。

2.2、可视化

2.2.1、特征可视化

通过对各层卷积核学习到的特征进行可视化发现神经网络学习到的特征存在层级结构。
- 第二层是学习到边缘和角点检测器.
- 第三层学习到了一些纹理特征.
- 第四层学习到了对于指定类别图像的一些不变性的特征，例如狗脸、鸟腿.
- 第五层得到了目标更显著的特征并且获取了位置变化信息。

2.2.2、训练期间特征的演变

低层特征经过较少epoch的训练过程之后就学习的比较稳定了，层数越高越需要更多的epoch进行训练。因此需要足够多的epoch过程来保证顺利的模型收敛。

2.2.3、特征不变性

平移影响不大，旋转影响较大。卷及神经网络具有平移不变形，但不具有旋转不变性。

2.2.4、网络结构选择

在AlexNet的结构基础之上修改的，网络结构上没有太多的创新。

作者通过可视化AlexNet第一层和第二层的特征，发现比较大的stride和卷积核提取的特征不理想，所以作者将第一层的卷积核从11∗1111*1111∗11减小到7∗77*77∗7，将stride从4减小到2，实验说明，这样有助于分类性能的提升。

2.2.5、遮挡分析

遮挡实验说明图像的关键区域被遮挡之后对分类性能有很大的影响，说明分类过程中模型明确定位出了场景中的物体。

2.2.6、一致性分析

不同图像的指定目标局部块之间是否存在一致性的关联，作者认为深度模型可能默认学习到了这种关联关系。作者通过对五张不同的狗的图像进行局部遮挡，然后分析原图和遮挡后的图像的特征之间的汉明距离的和值，值越小说明一致性越大。实验表明，对不同的狗的图像遮挡左眼、右眼和鼻子之后的汉明距离小于随机遮挡，证明存在一定的关联性。

3、参考资料

Visualizing and Understanding Convolutional Networks
一个讲解神经网络可视化的博客
https://blog.csdn.net/cdknight_happy/article/details/78855172

论文笔记：ZFNet相关推荐

ZFNet论文笔记--卷积可视化
ZFNet论文笔记 Visualizing and Understanding Convolutional Networks 算法介绍 **实现可视化的目的:**打破神经网络"黑匣子&quo ...
行为识别论文笔记|TSN|Temporal Segment Networks: Towards Good Practices for Deep Action Recognition
行为识别论文笔记|TSN|Temporal Segment Networks: Towards Good Practices for Deep Action Recognition Temporal ...
ORB-SLAM3 论文笔记
ORB-SLAM3 论文笔记这篇博客 ORB-SLAM3系统相机模型的抽象(Camera Model) 重定位的问题图片矫正的问题视觉惯性SLAM的工作原理相关公式 IMU初始化跟踪和建图 ...
【论文笔记】 LSTM-BASED DEEP LEARNING MODELS FOR NONFACTOID ANSWER SELECTION
一.简介这篇论文由IBM Watson发表在2016 ICLR,目前引用量92.这篇论文的研究主题是answer selection,作者在这篇论文基础上[Applying Deep Learnin ...
最新图神经网络论文笔记汇总（附pdf下载）
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 [导读]近年来,图神经网络变得非常火热,每年顶会在该领域内都会出现大量的研究论文,本文为大家提 ...
[论文笔记] Fast Quality Driven Selection of Composite Web Services (ECOWS, 2006)
Time: 4.0 hours Jae-Ho Jang, Dong-Hoon Shin, Kyong-Ho Lee, "Fast Quality Driven Selection of Co ...
论文笔记之：Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning
论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning 2017-06-06 21: ...
光流速度_[论文笔记] FlowNet 光流估计
[论文笔记] FlowNet: Learning Optical Flow with Convolutional Networks 说在前面个人心得: 1. CNN的光流估计主要是速度上快,之后的v ...
论文笔记《Maxout Networks》《Network In Network》
原文出处:http://zhangliliang.com/2014/09/22/paper-note-maxout-and-nin/ 论文笔记 <Maxout Networks> & ...
论文笔记：HKMF-T: Recover From Blackouts in TaggedTime Series With Hankel Matrix Factorization
论文笔记:Hankel Matrix Factorization for Tagged Time Series to Recover Missing Values during Blackouts_U ...

论文笔记：ZFNet

ZFNet

1、四个问题

2、论文概述

2.1、实现方法

2.2、可视化

2.2.1、特征可视化

2.2.2、训练期间特征的演变

2.2.3、特征不变性

2.2.4、网络结构选择

2.2.5、遮挡分析

2.2.6、一致性分析

3、参考资料

论文笔记：ZFNet相关推荐

最新文章

热门文章