论文阅读笔记：Fully Convolutional Networks forSemantic Segmentation

这是CVPR 2015拿到best paper候选的论文。

论文下载地址：Fully Convolutional Networks forSemantic Segmentation

尊重原创，转载请注明：http://blog.csdn.net/tangwei2014

1.概览&主要贡献

提出了一种end-to-end的做semantic segmentation的方法，简称FCN。

如下图所示，直接拿segmentation 的 ground truth作为监督信息，训练一个端到端的网络，让网络做pixelwise的prediction，直接预测label map。

2.问题&解决办法

1）如何做pixelwise的prediction？

传统的网络是subsampling的，对应的输出尺寸会降低，要想做pixelwiseprediction，必须保证输出尺寸。

解决办法：

（1）对传统网络如AlexNet，VGG等的最后全连接层变成卷积层。

例如VGG16中第一个全连接层是25088x4096的，将之解释为512x7x7x4096的卷积核，则如果在一个更大的输入图像上进行卷积操作（上图的下半部分），原来输出4096维feature的节点处（上图的上半部分），就会输出一个coarsefeature map。

这样做的好处是，能够很好的利用已经训练好的supervisedpre-training的网络，不用像已有的方法那样，从头到尾训练，只需要fine-tuning即可，训练efficient。

（2）加In-network upsampling layer。

对中间得到的featuremap做bilinear上采样，就是反卷积层。实现把conv的前传和反传过程对调一下即可。

2）如何refine，得到更好的结果？

upsampling中步长是32，输入为3x500x500的时候，输出是544x544，边缘很不好，并且limit thescale of detail of the upsampling output。

解决办法：

采用skiplayer的方法，在浅层处减小upsampling的步长，得到的finelayer 和高层得到的coarselayer做融合，然后再upsampling得到输出。这种做法兼顾local和global信息，即文中说的combiningwhat and where，取得了不错的效果提升。FCN-32s为59.4，FCN-16s提升到了62.4，FCN-8s提升到62.7。可以看出效果还是很明显的。

3.训练细节

用AlexNet，VGG16或者GoogleNet训练好的模型做初始化，在这个基础上做fine-tuning，全部都fine-tuning。

采用wholeimage做训练，不进行patchwisesampling。实验证明直接用全图已经很effectiveand efficient。

对classscore的卷积层做全零初始化。随机初始化在性能和收敛上没有优势。

4.结果

当然是state-of-the-art的了。感受一下：

全卷积（FCN）论文阅读笔记：Fully Convolutional Networks for Semantic Segmentation相关推荐

【论文阅读】Fully Convolutional Networks for Semantic Segmentation【CVPR,PAMI】
摘要我们的研究表明,卷积网络通过端到端.像素到像素的训练,在语义分割方面比之前的最佳结果有所提高我们的关键见解是构建完全卷积网络,它接受任意大小的输入,并产生相应大小的输出,并具有有效的推理和学习 ...
【论文翻译】Fully Convolutional Networks for Semantic Segmentation
论文题目:Fully Convolutional Networks for Semantic Segmentation 论文来源:Fully Convolutional Networks for Se ...
FCN全连接卷积网络（3）--Fully Convolutional Networks for Semantic Segmentation阅读（摘要部分）
1.摘要 1.1逐句理解一下: Convolutional networks are powerful visual models that yield hierarchies of features ...
FCN全连接卷积网络（5）--Fully Convolutional Networks for Semantic Segmentation阅读（相关工作部分）
相关工作相关工作 1.重新设计和微调现有的分类模型来指导语义分割的密集预测内容. 2.虽然进去已有研究团队将卷积网络应用到密集预测任务当中,但是这些方面存在着一些不足,入感知范围有限.需要传统方法进 ...
FCN全连接卷积网络（4）--Fully Convolutional Networks for Semantic Segmentation阅读（引言部分）
引言引言部分翻译总结 1.卷积网络推动了视觉识别的发展. 2.早前的卷积网络运用当中,将每个像素标记为封闭对象或一个某个类别,这样的做法存在缺点.也就是传统的卷积网络存在缺点. 3.实验证明,端到 ...
Fully Convolutional Networks for Semantic Segmentation (FCN)论文翻译和理解
论文题目:Fully Convolutional Networks for Semantic Segmentation 论文来源:Fully Convolutional Networks for Se ...
【论文翻译】Fully Convolutional Networks for Semantic Segmentation_2
论文题目:Fully Convolutional Networks for Semantic Segmentation 论文来源:Fully Convolutional Networks for Se ...
Fully Convolutional Networks for Semantic Segmentation ————全卷积网络 FCN论文解读
Fully Convolutional Networks for Semantic Segmentation 作者: Jonathan Long, Evan Shelhamer, Trevor Dar ...
论文笔记（FCN网络，语义分割）：Fully Convolutional Networks for Semantic Segmentation
FCN论文笔记:Fully Convolutional Networks for Semantic Segmentation 语义分割模型结构时序: FCN SegNet Dilated Convol ...
【论文笔记】FCN：Fully Convolutional Networks for Semantic Segmentation
<Fully Convolutional Networks for Semantic Segmentation>,CVPR 2015 文章目录 1. 概览 2. 主要亮点 2.1 全卷积化 ...

全卷积（FCN）论文阅读笔记：Fully Convolutional Networks for Semantic Segmentation