Dual Super-Resolution Learning for Semantic Segmentation解读

双边超分辨率学习语义分割收录在cvpr2020

摘要：现在的最好的语义分割办法用高分辨率的输入去提高模型性能，这种方法使得计算量增加很多。我们提出了灵活而简单的双支路网络框架（叫DSRL）可以很好的提高网络精度的同时不引入额外的计算量。具体的来说，我们的方法分为三部分：1.超分辨率分割（SSSR）2.单张图像超分辨率（SISR）3.特征关联（FA）模块。可以在低分辨率的输入的情况下保持高分辨率，同时减少计算量。这种方法还可以很简单的应用到其他任务上如人体姿态估计。我们的方法在人体姿态估计与Cityscaps的分割任务上提高了2%的精确度的同时保持Flops不变。

以前的工作中存在的问题是输入分辨率大的情况下精度高，但是计算量也高，降低输入分辨率则精度也会降低，本文提出的方法减轻了这种情况：原理是从低分辨率的输入重建高分辨率的图像。之前类似的工作有四种：1.前上采样超分辨率，就是将输入双线性上采样到高分辨率然后微调网络。2.后上采样超分辨率，就是用网络后端的可学习的上采样层代替前上采样，可以很大程度减少计算复杂度。3.进步上采样超分辨率，是方法2的改进，它针对减少计算复杂度，用渐进的重建高分辨率图像并根据多尺度的单图像分辨率需要进行裁剪。4.迭代式上下采样超分辨率，采用迭代式上下采样产生媒介图像，然后结合它们去重建最后的高分辨率图像。考虑到计算量问题，本文遵循2方法的理念。

网络整体结构：

本文提出的DSRL网络包含三个模块，下面逐一介绍：

1.超分辨率语义分割（SSSR），就是简单的增加了一个上采样，达到提高分辨率的目的。模块输入是512*1024，输出是1024*2048。相较于最近的大多数系统（输入输出都是512*1024，最后再提升至1024*2048分辨率）我们的办法可以充分利用GT的信息，避免GT在以开始的下采样中丢失信息。我们的上采样模块包含一系列的反卷积层后面是归一化和激活函数，只用了很少的参数。

2.单一图像超分辨变率（SISR）。上文提到，在原分辨率作为输入的情况下只用decoder部分是不足以生成类似的高分辨率分割图。因为decoder并不是双线性上采样层也不是一个子网络，它并不会带来额外的信息因为输入就是低分辨率图（512*1024）。此模块的目的是从低分辨率输入构建高分辨率图片。它意味着此模块可以在低分辨率的输入下有效地重建和增强图片的结构信息。下图是此模块的特征可视化：

对比上图的（b）和（c）我们可以发现，SISR包含更多的完整的物体结构，尽管这些结构并不是明确的指像素是同一类，但是他们能被像素间和区域间的关联信息高效的分组。而关联信息可以间接传递语义信息，所以对分割任务是非常有用的。所以我们将SISR生成的高分辨率特征去指导SSSR的高分辨率表征，这些细节可以可以被像素之间的相关性所模仿。关联性学习可以在decoder部分简单实现。对于SISR分支，它与SSSR共享特征提取的部分，如下图所示，整个SISR分支在训练的时候我们用原图像作为监督信号，在推理阶段可以去掉。

3.特征关系学习（FA），因为SISR比SSSR包含更多的完整结构的信息，我们用此模块来指导SSSR去学习高分辨率的表征。

FA为了学习SISR和SSSR之间相似矩阵的距离，如公式1。

相似矩阵的定义如公式2：

Sij代表两个特征图任意两个像素点的关联，p和q代表正则化方式，这里p=2，q=1（就是L1正则和L2正则）。

消融实验和与State of the art 对比：

语义分割效果图对比：

总结：这是一篇利用低分辨率的输入生成高分辨率的图像，从而给模型提供额外的信息进而提高网络精确的文章。它的FA模块和attention机制比较像，而且它额外增加的模块在部署阶段可以去掉，几乎不会增加计算量，是一种提高分辨率的有效策略。

Dual Super-Resolution Learning for Semantic Segmentation解读相关推荐

[论文阅读] Cost-Effective REgion-based Active Learning for Semantic Segmentation
论文地址:https://arxiv.org/abs/1810.09726 发表于:BMVC'18 Abstract 最先进的语义分割方法在有监督的情况下使用大量的标注训练图像语料库进行训练.然而,与 ...
Squeeze-and-Attention Networks for Semantic Segmentation解读
最近将注意力机制整合到分割任务通过强调特征里面的信息中来提升模型的表征能力.但是这些注意力机制忽略了一个暗含的分割子任务并且被卷积核的方格型形状所限制.我们提出了一个新颖的压缩注意力网络(SANet) ...
【论文翻译】PLOP: Learning without Forgetting for Continual Semantic Segmentation
论文地址:http://https://arxiv.org/abs/2011.11390 代码地址:GitHub - arthurdouillard/CVPR2021_PLOP: Official ...
语义分割-Unsupervised Domain Adaptation in Semantic Segmentation：a Review语义分割中的无监督领域自适应：综述
Unsupervised Domain Adaptation in Semantic Segmentation:a Review语义分割中的无监督领域自适应:综述 0.摘要 1.介绍 1.1.语义分割 ...
【论文合集】RGBD Semantic Segmentation
来源:GitHub - Yangzhangcst/RGBD-semantic-segmentation: A paper list of RGBD semantic segmentation (pro ...
【Few-Shot Segmentation论文阅读笔记】PANet: Few-Shot Image Semantic Segmentation with Prototype , ICCV, 2019
Abstract Target Question: Few-shot Segmentation 本文主要工作: 基于metric-learning的思想,本文提出了PANet(Prototype Al ...
Semi-supervised Semantic Segmentation Papers
Semi-Supervised Object Detection with Adaptive Class-Rebalancing Self-Training 1.SSOD中的伪标签不准确.此外,在前景 ...
语义分割--Deep Dual Learning for Semantic Image Segmentation
Deep Dual Learning for Semantic Image Segmentation ICCV2017 针对语义分割问题,本文提出了一个 dual image segmentation ...
CVPR2020论文解读：三维语义分割3D Semantic Segmentation
CVPR2020论文解读:三维语义分割3D Semantic Segmentation xMUDA: Cross-Modal Unsupervised Domain Adaptation for 3D ...

Dual Super-Resolution Learning for Semantic Segmentation解读

Dual Super-Resolution Learning for Semantic Segmentation解读相关推荐

最新文章

热门文章