论文笔记-Understanding Convolution for Semantic Segmentation

图森和CMU的合作工作。

论文链接[https://arxiv.org/abs/1702.08502](https://arxiv.org/abs/1702.08502)

主要提出DUC（dense upsampling convolution）和HDC（hybrid dilated convolution），其中DUC相当于用通道数来弥补卷积/池化等操作导致的尺寸的损失，HDC为了消除在连续使用dilation convolution时容易出现的gridding effect。

1. DUC

* 标准的bilinear interpolation是没有参数需要学习的，对于像素级的分割任务，会造成部分细节信息丢失。

* DUC模块，则是将所有特征图分成$d^2$个子集（d代表图像的降维比例）。假如原始图像大小为$H*W$，卷积之后变为$H/d*W/d$，用$h*w$代替，具体为：

* 先将原先的$h*w*c$变成$h*w*(d^2*L)$，L为分割的类别数目

* 将此后的输出reshape为$H*W*L$，以此引入多个学习的参数，提升对细节的分割效果

2. HDC

连续使用dilation conv时，dilation rate选择不当，已造成某些像素始终无法参与运算，作者将其描述为gridding现象，如下图。

为此，作者提出多种不同的dilation rate连续、交替使用的方案，即

* 连续使用dilation conv时，dilation rate设计成锯齿状结构，如[1,2,5, 1, 2, 5]

* 叠加的卷积层不要有大于1的公约数

* 满足公式

其中，$M_n = r_n$，该公式目标为使得$M_2 \leq K$

3. 实验

该部分，作者以DeepLab_V2为baseline model，并对比多种tricks的效果，如bigger patch size(data augmentation)，larger dilation rate等，验证了larger dilation rate对性能的提升。

* 在Deeplab_v3中对dilation rate的使用提出一个思考，当dilation rate过大时，由于图像的边缘效应导致long range information并没有被学习到。

* 个人思考：在网络的底层，不适合使用较大的dilation rate（貌似很多都是用标准卷积），因为底层网络层更多包含底维信息，如果引入大的dilation rate，会导致部分细节的底层信息被忽略掉。

---

参考资料

1. [https://www.zhihu.com/question/54149221](https://www.zhihu.com/question/54149221)

2. [Rethinking Atrous Convolution for Semantic Image Segmentation](https://arxiv.org/abs/1706.05587)

转载于:https://www.cnblogs.com/xiangs/p/9780895.html

论文笔记-Understanding Convolution for Semantic Segmentation相关推荐

语义分割--Understanding Convolution for Semantic Segmentation
Understanding Convolution for Semantic Segmentation https://arxiv.org/abs/1702.08502v1 模型 https://go ...
论文笔记-Domain Adaptation for Semantic Segmentation with Maximum Squares Loss
论文信息论文标题:Domain Adaptation for Semantic Segmentation with Maximum Squares Loss 论文作者:Minghao Chen, H ...
论文笔记之：Instance-aware Semantic Segmentation via Multi-task Network Cascades
Instance-aware Semantic Segmentation via Multi-task Network Cascades Jifeng Dai Kaiming He Jian Sun ...
论文笔记：STD2P: RGBD Semantic Segmentation Using Spatio-Temporal Data-Driven Pooling
STD2P: RGBD Semantic Segmentation Using Spatio-Temporal Data-Driven Pooling Yang He, Wei-Chen Chiu, ...
【论文阅读】Weakly Supervised Semantic Segmentation using Out-of-Distribution Data
一篇弱监督分割领域的论文,发表在CVPR2022上: 论文标题: Weakly Supervised Semantic Segmentation using Out-of-Distribution D ...
【语义分割】DUC -- Understand Convolution for Semantic Segmentation
参考:Understand Convolution for Semantic Segmentation
【论文合集】RGBD Semantic Segmentation
来源:GitHub - Yangzhangcst/RGBD-semantic-segmentation: A paper list of RGBD semantic segmentation (pro ...
【论文笔记】D2A U-Net: Automatic segmentation of COVID-19 CT slices based on dual attention and hybrid di
声明不定期更新自己精度论文,通俗易懂,初级小白也可以理解涉及范围:深度学习方向,包括 CV.NLP.Data Fusion.Digital Twin 论文标题:D2A U-Net: Automat ...
【论文翻译】SETR:Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformer
SETR 摘要介绍相关工作语义分割 Transformer 模型设计 FCN-based semantic segmentation Segmentation transformers (SET ...

论文笔记-Understanding Convolution for Semantic Segmentation

论文笔记-Understanding Convolution for Semantic Segmentation相关推荐

最新文章

热门文章