语义分割--Pixel Deconvolutional Networks

Pixel Deconvolutional Networks

https://arxiv.org/abs/1705.06820

本文首先指出在常规的 deconvolutional operation 会导致所谓的 checkerboard 问题。这主要是因为 deconvolution operation 生成的特征图相邻像素没有相关性导致的。为此我们提出了 pixel deconvolutional layer (PixelDCL) 来建立特征图相邻像素的相关性，从而解决这个 checkerboard 问题。

我们先来看看常规的 deconvolutional operation

对于一个 4 × 4 输入特征图，我们使用四个不同的卷积核得到四个 4 × 4中间特征图，然后我们将这四个中间特征图组合起来得到一个 8 × 8 的输出特征图。
Note that the four intermediate feature maps rely on the input feature map, but there is no direct relationship among them.
注意这四个中间特征图之间没有直接的联系。
Due to the periodical shuffling operation, adjacent pixels on the output feature map are from different intermediate feature maps. This implies that the values of adjacent pixels can be significantly different from each other, resulting in the problem of checkerboard artifacts

延伸阅读：
http://www.jianshu.com/p/36ff39344de5
http://distill.pub/2016/deconv-checkerboard/

本文提出了 iPixelDCL 来建立中间特征图之间的直接联系

下面我们来看看在 iPixelDCL 中这四个中间特征图是怎么生生成的。
The purple feature map is generated from the input feature map (blue)
首先紫色的特征图有蓝色输入特征图直接生成。

The orange feature map is conditioned on both the input feature map and the purple feature
map that has been generated previously
黄色特征图的生成依赖于输入特征图和紫色特征图

the green feature map relies on the input feature map, purple and orange intermediate feature maps.
绿色特征图的生成依赖于输入特征图、紫色特征图、黄色特征图。

The red feature map is generated based on the input feature map, purple, orange, and green intermediate feature maps
红色特征图生成依赖于输入特征图、紫色、黄色、绿色特征图。

在 PixelDCL 中，我们只容许紫色特征图依赖于输入特征图。
the orange feature map only depends on the purple feature map. The green feature map relies on the purple and orange feature maps. The red feature map is conditioned on the purple, orange, and green feature maps
输入特征图的影响通过紫色特征图传递到其他特征图。

Pixel Deconvolutional Networks

注意这里又和上面的步骤有一些不同。

上图第一行是图像，第二行是真值，第三行是常规反卷积结果，第四行是 iPixelDCL 结果，第五行是 PixelDCL 结果。

语义分割--Pixel Deconvolutional Networks相关推荐

语义分割--Global Deconvolutional Networks for Semantic Segmentation
语义分割 Global Deconvolutional Networks for Semantic Segmentation BMVC 2016 https://github.com/DrSleep/ ...
语义分割--Full-Resolution Residual Networks for Semantic Segmentation in Street Scenes
Full-Resolution Residual Networks for Semantic Segmentation in Street Scenes CVPR2017 Theano/Lasagne ...
语义分割--Dilated Residual Networks
DRN:Dilated Residual Networks 收录:CVPR2017(IEEE Conference on Computer Vision and Pattern Recognition ...
语义分割--Dilated Residual Networks 之转载
Dilated Residual Networks CVPR2017 http://vladlen.info/publications/dilated-residual-networks/ 这里转载了 ...
语义分割深度学习方法集锦
转载:https://github.com/handong1587/handong1587.github.io/edit/master/_posts/deep_learning/2015-10-09- ...
CVPR 2020 论文大盘点-语义分割篇
图像分割应用广泛,在CVPR 2020 论文中所占比例很高,可说是一大热门,有110多篇相关论文,本文盘点CVPR 2020 所有语义分割(Semantic Segmentation)相关论文(文末有 ...
matlab 图像语义分割,笔记︱图像语义分割（FCN、CRF、MRF）、论文延伸（Pixel Objectness、）...
图像语义分割的意思就是机器自动分割并识别出图像中的内容,我的理解是抠图- 之前在Faster R-CNN中借用了RPN(region proposal network)选择候选框,但是仅仅是候选框,那 ...
Recorder︱图像语义分割（FCN、CRF、MRF）、论文延伸（Pixel Objectness、）
图像语义分割的意思就是机器自动分割并识别出图像中的内容,我的理解是抠图- 之前在Faster R-CNN中借用了RPN(region proposal network)选择候选框,但是仅仅是候选框,那 ...
彻底讲透FCN语义分割开山之作Fully Convolutional Networks
FCN论文标题:Fully Convolutional Networks for Semantic Segmentation 论文下载地址:https://arxiv.org/abs/1411.40 ...

语义分割--Pixel Deconvolutional Networks

语义分割--Pixel Deconvolutional Networks相关推荐

最新文章

热门文章