Detail-Preserving Pooling in Deep Networks

2024-05-11 09:59:38

论文阅读：Detail-Preserving Pooling in Deep Networks

个人分类： paper

Title：

Detail-Preserving Pooling in Deep Networks

URL：

https://arxiv.org/pdf/1804.04076.pdf

概述

CVPR2018的文章，提出了一种保存细节的pooling层，且该层可微。可以代替max-pooling层，实现性能的提升。

作者：

Motivation：

作者认为average-pooling和stride convolutions都可以看做卷积操作，不具备activation功能，且不具备随着feature map的改变而改变的能力。max pooling具备activation功能，最大池化的一个缺点是它不可微分，因此在学习期间必须求助于子差分。作者认为max pooling中梯度的传递仅限于最大值，在网络结构比较深的时候，这会成为一个问题。所以作者想在average-pooling和max-pooling之间进行一个折中。

Contribution：

提出了一种可微的、保存细节的Pooling层。

方法：

作者的Detail-Preserving Pooling（DPP）Detail-Preserving Image Downscaling（DPIP）的基础上做的。DPIP如下：

考虑了高斯滤波以及点和点之间的像素差距，它加强了像素差距大的像素的贡献，所以能保存细节。

DPP如下：

作者提出了两种机制，一种是一个对称机制：增强所有的细节，一种是非对称机制：之增强那些a higher-than-average的细节。并且采用一范数。这两种细节采用不同的

对称机制：

非对称机制：

这里面alpha和lambda都是学习来的。

实验：

CIFAR10:

ImageNet：

把其中一些maxpooling层换成DPP层，都获得了不错的效果。

视觉上也有所提高：

Thinking：

类似的卷积的improvement，比如空洞卷积，这篇DPP，理论上都可以在任何baseline上使用看效果，不过实现起来会很麻烦，取决于深度学习工具是否支持该种卷积。

Detail-Preserving Pooling in Deep Networks相关推荐

Paper8：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 还未读
[SPP-NET]Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
基于空间金字塔池化的卷积神经网络物体检测原文地址:http://blog.csdn.net/hjimce/article/details/50187655 作者:hjimce 一.相关理论本篇博文 ...
目标检测--Spatial pyramid pooling in deep convolutional networks for visual recognition(PAMI, 2015)
Spatial pyramid pooling in deep convolutional networks for visual recognition 作者: Kaiming He, Xiangy ...
深度学习材料：从感知机到深度网络A Deep Learning Tutorial: From Perceptrons to Deep Networks
In recent years, there's been a resurgence in the field of Artificial Intelligence. It's spread beyo ...
Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localizati论文精读及资源整理
Grad-CAM: Why did you say that? Visual Explanations from Deep Networks via Gradient-based Localizati ...
Zero-shot knowledge distillation in deep networks
Zero-shot knowledge distillation in deep networks Objective Can we do Knowledge Distillation without ...
论文笔记 Communication-Efficient Learning of Deep Networks from Decentralized Data
论文题目:<Communication-Efficient Learning of Deep Networks from Decentralized Data> 时间:联邦学习由谷歌在20 ...
语义分割--Efficient and Robust Deep Networks for Semantic Segmentation
Efficient and Robust Deep Networks for Semantic Segmentation Code: https://lmb.informatik.uni-freibu ...
CNN光流计算2--FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks
FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks CVPR2017 Code: https://github.c ...

最新文章

热门文章