1.abstract

deeplab v3采用级联或并行空洞卷积的模块，采用多尺度空洞率来捕获多尺度上下文。此外，对deeplab v2提出的空间空间金字塔池模块进行改进，该模块在多个尺度上探测卷积特征，获得全局上下文的图像级特征编码，并进一步提高性能。提出的“DeepLabv3”系统比之前没有DenseCRF后处理的DeepLab版本有了显著的改进

deeplab各个版本之间并没有太大的创新

2.Introduction

作者重新应用了无效卷积，能够有效地在滤波器模块和空间金字塔池的框架下，扩大滤波器的感受野，以纳入多尺度上下文。特别地，新提出的模块由具有各种空洞率的空洞卷积和批处理归一化层组成。

作者实验设计了级联或并行的模块（具体来说，空间空间金字塔池（ASPP）方法[11]）。讨论了应用极大的空洞率的3×3空洞卷积时的一个重要实际问题，由于图像边界效应无法捕获远程信息，有效地退化为1×1卷积，并提出将图像级特征合并到ASPP模块中。

3. Methods

作者首先探索设计在级联中布局的无性卷积的模块。具体来说，复制了最后一个ResNet块的几个副本，在图3中表示为块4，并将它们排列为级联。在这些块中有三个3×3卷积，最后一个卷积包含步2，将步长改为1，不进行下采样，并引入空洞卷积。最后得到的特征图为下采样16倍的特征图

3.2.1 Multi-grid Method

基于多网格方法，采用不同大小的网格层次，提出的模型中采用区块4和区块7的不同的膨胀率。特别地，将从第4块到第7块内的三个卷积层的单元速率定义为Multi Grid =（r1，r2，r3）。卷积层的最终膨胀速率等于单位速率和相应速率的乘法。例如，当输出步幅= 16和Multi Grid =（1、2、4）时，三个卷积将在块4中分别具有速率=2·（1、2、4）=（2、4、8）。

不同空洞率的ASPP有效地捕获多尺度信息。然而，随着采样率的增大，有效过滤器权值的数量（即应用于有效特征区域的权值，而不是填充零）变小。当对具有不同膨胀率的65×65特征图应用3×3滤波器时，这种效果如图4所示。在速率值接近特征图大小的极端情况下，3×3滤波器不是捕获整个图像上下文，而是退化为一个简单的1×1滤波器，因为只有中心滤波器的权重是有效的。

为了克服这个问题，并将全局上下文信息合并到模型中，在模型的最后一个特征图上应用全局平均池化，将得到的图像级特征与256个滤波器进行1×1卷积（以及批归一化[38]），然后将特征向上采样到所需的空间维度。最后，改进的ASPP包括(a)一个1×1卷积和三个3×3卷积，特征图下采样16倍时空洞率=（6,12,18）（均有256个滤波器和批归一化），(b)为图像级特征，如图5所示。请注意，当下采样8倍时，空洞率是两倍。然后，来自所有分支的结果特征被连接起来，并通过另一个1×1卷积（也有256个过滤器和批标准化），然后在最终的1×1卷积生成最终的分数。

4. Experimental Evaluation

4.1. Training Protocol

Learning rate policy: 指数调度

power=0.9

Batch normalization: 在ResNet之上添加的模块都包括批处理归一化参数[38]，由于需要较大的批大小来训练批归一化参数，因此作者使用输出步幅= 16，并计算批大小为16的批归一化统计量。用衰减= 0.9997训练批处理归一化参数。在30K迭代和初始学习率= 0.007训练后，我们冻结批归一化参数，采用输出步幅=8，在帕斯卡VOC 2012训练集上训练，进行30K迭代和更小的基础学习率= 0.001。

Upsampling logits: 当输出步幅=8时，训练期间特征图被降采样8。并对最终的特征图进行上采样

Data augmentation: 作者通过在训练期间随机缩放输入图像（从0.5到2.0）和随机左右翻转来应用数据增强。

4.2. Going Deeper with Atrous Convolution

ResNet-50: 在输出步幅=256（，由于严重的信号抽取，性能很差。当输出步幅变大并相应地应用空洞卷积时，性能从20.29%提高到75.18%

ResNet-50 vs. ResNet-101:

Multi-grid: 最好的模型是使用了第7块和（r1、r2、r3）=（1、2、1）的情况。

Inference strategy on val set: 采用多尺度输入，scales = {0.5, 0.75, 1.0, 1.25, 1.5, 1.75}

ASPP:

deeplab v3论文精读相关推荐

deeplab v3+论文精读
论文地址:https://arxiv.org/pdf/1802.02611.pdf tensorflow代码:https: //github.com/tensorflow/models/tree/ma ...
DeepLab v2论文精读
相较于Deeplab v1改进措施就是将VGG16改为resnet 101,并且引入了ASPP层 1 INTRODUCTION 挑战1: DCNN最初是为图像分类设计的,进行了不断的下采样.当DCNN ...
关于「Xception」和「DeepLab V3+」的那些事
作者丨崔权学校丨早稻田大学硕士生研究方向丨深度学习,计算机视觉知乎专栏丨サイ桑的炼丹炉前言最近读了 Xception [1] 和 DeepLab V3+ [2] 的论文,觉得有必要总结一下这 ...
[深度学习从入门到女装]DeepLab v3
DeepLab v3 论文地址:Rethinking Atrous Convolution for Semantic Image Segmentation 1.相比于DeepLab v2,有一点改进就 ...
DL之DeepLabv3：DeepLab v3和DeepLab v3+算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之DeepLabv3:DeepLab v3和DeepLab v3+算法的简介(论文介绍).架构详解.案例应用等配图集合之详细攻略目录 DeepLab v3和DeepLab v3+算法的简介(论文 ...
深度学习论文精读[10]：Deeplab v1
在语义分割发展早期,一些研究观点认为将CNN用于图像分割主要存在两个问题:一个是下采样导致的信息丢失问题,另一个则是CNN的空间不变性问题,这与CNN本身的特性有关,这种空间不变性有利于图像分类但却不 ...
DeepLab v3+为啥可以封神？（论文讲解含超详细注解+中英文对照+配图）
开始前,博主请求大家一定要看注解,博主的努力全在注解里,有帮助的记得一键三连呀! Encoder-Decoder with Atrous Separable Convolution for Seman ...
deeplab v3+---Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
一.摘要: 1.spp是什么? 问题:分割我们提出了什么: 1.deeplab v3+ 在deeplab v3的基础上加了一个简单的decoder模块来改善分割结果,尤其是对于边界区域 2.我们采用 ...
李沐论文精读系列四：CLIP和改进工作串讲（LSeg、GroupViT、VLiD、 GLIPv1、 GLIPv2、CLIPasso）
文章目录一.CLIP 1.1 简介 1.1.1 前言 1.1.2 模型结构 1.1.3 模型效果 1.1.3.1 对自然分布偏移的鲁棒性 1.1.3.2 StyleCLIP 1.1.3.3 CLIP ...

deeplab v3论文精读