Inverting Convolutional Networks with Convolutional Networks 论文理解

Inverting Convolutional Networks with Convolutional Networks

论文创新点：

（1）提出了一个前向生成图像网络（上卷积网络）。相比于之前的梯度下降优化方式提高了速度，基本能达到实时。

（2）提出了新的损耗计算方式。图像之间的距离损耗。之前是采用最小化特征的距离，这种损耗会有这样的弊端：不同的图像映射的feature却比较接近。

论文研究实验结论：

（1）网络的所有层（卷积层和全连接层）都准确保留了图像中对象的颜色。feature maps中包含了颜色信息。

（2）所有层保留了图像物体的位置信息:卷积层达到了像素精度，全连接层精度稍差些。

（3）越高的层，包含在非零的激活中关于图像的几乎所有信息越是不精确。

（4）在fc8层，图像中物体的信息大部分是包含在概率小的类中，而不是top-5的预测类中。（AlexNet网络中fc8是softmax预测类别的）

（5）重建网络优先学习自然图像，能够通过随机的一些特征向量生成看起来很自然的图像。

AlexNet网络、重建网络

loss：输入图像与重建图像的像素欧式距离。

AlexNet不同层进行图像重建：

（1）随着特征层数越来越高，重建出的图像丢失的细节信息也越来越多，尤其是conv5到fc6，很明显能够看到细节信息丢失很多。

（2）不论是从conv还是从fc层的进行重新生成图像，得到的图像的颜色和图像中对象的位置都是正确的。

（3）即使是fc7和fc8重构出来的图像都和输入图像很像，只是模糊了。

自编码：

（1）自编码的重建图像的误差比AlexNet反向网络重建的误差要小，同时图像也更清晰更接近。

（2）即使从conv5重建出来的图像也是比较精确。

（3）从全连接层重建出来的图像也变得模糊，由于特征信息被压缩了，但是相比于固定的AlexNet反向的要好很多。

自编码与alexNet：

（1）自编码重建出来的出来效果很高，误差更小。

（2）比较两个网络可以估算由于AlexNet训练目标而丢失的图像信息量。AlexNet训练目标不是为了重建图像的，而是为了图像分类。

颜色：

（1）网络最高的层中包含颜色特征信息

（2）颜色信息影响图像分类（对分类很重要），网络特征对颜色很敏感

（3）图像的颜色可以重建出来即使是从fc8。

（4）重建图像的质量效果不是只与最大分类的有关，与小概率的分类也有关。small probabilities of non-predicted classes carry more information than the prediction itself

位置：重建

从下图中可以看出：

（1）Fc6 保留位置很准确；Fc8能够明显反映了物体在运动，即使图像很模糊。

（2）越来越高的层图像越来越向水平对称的趋势发展。

参考资料：

https://theberkeleyview.wordpress.com/2015/11/19/berkeleyview-on-inverting-convolutional-networks-with-convolutional-networks/

论文

https://arxiv.org/pdf/1506.02753.pdf

Inverting Convolutional Networks with Convolutional Networks 论文理解相关推荐

【多标签文本分类】Ensemble Application of Convolutional and Recurrent Neural Networks for Multi-label Text
·阅读摘要: 本文提出基于Seq2Seq模型,提出CNN-RNN模型应用于多标签文本分类.论文表示CNN-RNN模型在大型数据集上表现的效果很好,在小数据集效果不好. ·参考文献: [1] E ...
Feature Pyramid Networks for Object Detection论文翻译——中文版
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书声明:作者翻译论文仅为学习,如有侵权请联系作者删除博文,谢谢! 翻译论文汇总:https://github.com ...
Feature Pyramid Networks for Object Detection论文翻译——中英文对照
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书声明:作者翻译论文仅为学习,如有侵权请联系作者删除博文,谢谢! 翻译论文汇总:https://github.com ...
Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation论文解析（视频超分）
Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation论文解析(视频超分) 论文可 ...
图卷积网络进行骨骼识别代码_【骨骼行为识别】2s-AGCN论文理解
Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition 论文链接: https:/ ...
【深度学习智能手机步态识别】Deep Learning-Based Gait Recognition Using Smartphones in the Wild 论文理解
[深度学习智能手机步态识别]Deep Learning-Based Gait Recognition Using Smartphones in the Wild 论文理解解决什么问题本文创新点/贡 ...
ResNet 论文理解含视频
ResNet 论文理解问题导引论文理解 Q1.神经网络真的越深越好吗? Q2. 为什么加深网络会带来退化问题? Q3. 如何构建更深层的网络? 基于残差的深度学习框架 Residual Learni ...
A Learned Representation for Artistic Style论文理解
A Learned Representation for Artistic Style论文理解这篇论文是在Perceptual losses for real-time style transfer ...
PacificA: Replication in Log-Based Distributed Storage Systems 论文理解
PacificA: Replication in Log-Based Distributed Storage Systems 论文理解思考:论文有个结论说,相比 GFS 具有中心化的实体,Pacif ...
[计算机视觉] AprilTag 2: Efficient and robust fiducial detection（2016）论文理解
论文地址 chrome-extension://cdonnmffkdaoajfknoeeecmchibpmkmg/assets/pdf/web/viewer.html?file=https%3A%2F ...

Inverting Convolutional Networks with Convolutional Networks 论文理解

Inverting Convolutional Networks with Convolutional Networks 论文理解相关推荐

最新文章

热门文章