https://www.toutiao.com/a6717221469463511566/

专栏《图像分割模型》正式完结了。在本专栏中，我们从编解码结构入手，讲到解码器设计；从感受野，讲到多尺度融合；从CNN，讲到RNN与CRF；从2D分割，讲到3D分割；从语义分割到实例分割和全景分割。这篇文章我们就一起回顾一下这些网络结构。

作者 | 孙叔桥

编辑 | 言有三

1 FCN

Fully Convolutional Network（FCN）是神经网络用于图像分割任务的鼻祖，后续提出的大部分基于编解码结构的图像分割网络都是从FCN上发展、改进而来的。

FCN用卷积层替换了分类网络结构中的全连接层，从而得到稠密的分割结果，实现端到端训练。

同时，网络还将不同尺度下的特征信息进行融合，实现更细节的图像分割。

「图像分割模型」从Fully Convolution Network说起

2 SegNet

SegNet在FCN的基础上增加了解码器，形成目前分割任务中最流行的编解码结构，并给出了不同解码器对效果的影响和原因。

此外，由于应用了基于位置信息的加码过程，相比较FCN而言，SegNet中的对应结构的体量要小得多。

「图像分割模型」编解码结构SegNet

3 空洞卷积

编解码结构中，为了平衡空间尺寸与计算量，同时增大网络结构的感受野，通常会对输入图像进行一定的下采样。为了恢复分割结果的空间分辨率，解码器往往需要应用上采样或反卷积。

但是，基于插值的上采样效果通常不理想，而反卷积操作则增加了计算量。基于此，DeepLab中就提出了“空洞卷积”的概念，在不增加参数个数的基础上，实现感受野与分辨率的控制。

「图像分割模型」感受野与分辨率的控制术—空洞卷积

4 ENet

图像分割的任务最终还是要落脚于实际应用，而此前的网络结构最快也只能达到1fps，远不及实时所需要的10fps。

ENet基于空洞卷积，实现了NVIDIA TX1上分辨率480x320下的21.1fps。

此外，文中还介绍了设计实时网络结构所需要考虑的6个重要内容。

「图像分割模型」快速道路场景分割—ENet

5 CRFasRNN

在许多计算机视觉任务中，后处理操作能够有效提升算法的质量。而在众多后处理方法中，条件随机场（CRF）的效果名列前茅。

然而，CRF的理论性强，应用起来不方便。因此，CRFasRNN中提出以RNN的形式实现CRF的解决方案，从而让基于CRF的后处理变得简单。

「图像分割模型」以RNN形式做CRF后处理—CRFasRNN

6 PSPNet

不同感受野下所带来的上下文信息对图像分割而言十分重要，往往感受野选择的恰当性会直接影响最终的分割效果，这种影响对极端尺寸（极大和极小）目标表现地尤为明显。

为了在同一级别下融合多尺度下的上下文信息，PSPNet提出了池化金字塔结构，从而实现了可以理解目标所处环境的图像分割。

「图像分割模型」多感受野的金字塔结构—PSPNet

7 ParseNet

尽管从网络结构看，有些网络的理论感受野能够达到非常大，但实际上，理论感受野并不能等同于实际感受野，其覆盖和利用的信息也不够完整。

基于这个发现，ParseNet提出了基于池化的全局特征利用，从而实现全局特征与局部特征融合下的图像分割。

文中也介绍了如何有效融合两种特征，并利用好融合特征。

转存失败重新上传取消

「图像分割模型」全局特征与局部特征的交响曲—ParseNet

8 RefineNet

尽管前面的特征融合方法能够恢复在计算过程中被下降的空间分辨率，但是这种恢复往往没有利用完整的原始空间信息，从而导致最终结果中的信息丢失。

基于此，RefineNet设计了空间分辨率的恢复结构，实现了基于残差卷积模块（RCU）、多分辨率融合模块（MRF）和串联残差池化模块（CRP）下的高精度图像分割。

转存失败重新上传取消

「图像分割模型」多分辨率特征融合—RefineNet

9 ReSeg

尽管CNN的效果不错，但是其需要依赖人工指定的核函数实现计算，从而限制了上下文的处理能力。因此，ReSeg提出基于双向循环神经网络（BRNN）实现分割，来克服这种不足。

在ReNet的基础上，ReSeg通过依次扫描互相垂直的两个方向，实现不同时序下的特征提取。

转存失败重新上传取消

「图像分割模型」看ReSeg如何将RNN模型用于图像分割

10 LSTM-CF

除了单纯基于2D的RGB图像的分割外，图像分割任务的完成还可以利用深度信息进行辅助，从而实现纹理信息下无法判断的分割。

LSTM-CF基于ReNet和空洞卷积，实现结合了深度信息的图像分割。为精度提升和深度信息利用提供了一种思路。

转存失败重新上传取消

「图像分割模型」看LSTM-CF中如何将LSTM用于图像分割

11 DeepMask

除了语义分割，图像分割中还有另外两种类别的任务：实例分割和全景分割。

我们通过DeepMask，给出了实例分割下的网络的设计思路。DeepMask可以同时实现前背景分割、前景语义分割和前景实例分割。

转存失败重新上传取消

「图像分割模型」实例分割模型—DeepMask

12 全景分割

语义分割与实例分割任务虽然相似，但是由于度量不同，二者无法直接结合。为了实现整图内things类别和stuff类别的同时分割，全景分割任务提出了新的度量。

全景分割任务下，图像内的每个像素点都有其对应的语义标签和实例标签（things类别），从而能够最大程度上地理解整幅图像。

转存失败重新上传取消

「图像分割模型」全景分割是什么？

「完结」12篇文章带你逛遍主流分割网络相关推荐

【完结】12篇文章带你逛遍主流分割网络
专栏<图像分割模型>正式完结了.在本专栏中,我们从编解码结构入手,讲到解码器设计:从感受野,讲到多尺度融合:从CNN,讲到RNN与CRF:从2D分割,讲到3D分割:从语义分割到实例分割和全 ...
12篇文章带你逛遍主流分割网络
文章发布于公号[数智物语] (ID:decision_engine),关注公号不错过每一篇干货. 作者 | 孙叔桥来源 | 有三AI 本文的12篇文章总结了当前主流的分割网络及其结构,涵盖从编解码结 ...
【完结】 12篇文章带你完全进入NLP领域，掌握核心技术
专栏<NLP>第一阶段正式完结了.在本专栏中,我们从NLP中常用的机器学习算法开始,介绍了NLP中常用的算法和模型:从朴素贝叶斯讲到XLnet,特征抽取器从RNN讲到transformer ...
【完结】12篇文章告诉你深度学习理论应该学到什么水平
专栏<AI初识境>正式完结了,在这一个专题中,我们给大家从神经网络背景与基础,讲到了深度学习中的激活函数,池化,参数初始化,归一化,优化方法,正则项与泛化能力,讲到了深度学习中的评测指标, ...
12篇文章带你进入NLP领域，掌握核心知识
专栏<NLP>第一阶段正式完结了.在本专栏中,我们从NLP中常用的机器学习算法开始,介绍了NLP中常用的算法和模型:从朴素贝叶斯讲到XLnet,特征抽取器从RNN讲到transformer ...
【完结】12篇GAN的优化文章大盘点，浓浓的数学味儿
专栏<GAN的优化>(第一季)正式完结啦! 在这一季里,我们从生成模型出发,讲述了GAN的基本理论,包括工作原理,更具有普适性的f散度度量和Wasserstein距离,以及IPM框架并顺带 ...
当今主流分割网络有哪些？12篇文章一次带你看完
作者 | 孙叔桥来源 | 转载自有三AI(ID: yanyousan_ai) 本文的12篇文章总结了当前主流的分割网络及其结构,涵盖从编解码结构到解码器设计:从感受野到多尺度融合:从CNN到RNN与 ...
世界顶级黑客，都有哪些神仙操作？这篇文章带你了解一下！
很多人都觉得黑客非常的神秘,是隐藏在互联网深处的大神,技术高超,搞啥都会!那么我们今天就来看一下传奇黑客的那些神仙操作! 文章来源丨思否:snakesss 黑客源自英文「hacker」,原指热心于计算 ...
设计模式一网打尽，40余篇文章带你领略设计模式之美
文章末尾附带GitHub开源下载地址. 该文章的最新版本已迁移至个人博客[比特飞],单击链接设计模式一网打尽,40余篇文章带你领略设计模式之美 | .Net中文网访问. 设计模式概述 20世纪80 ...

「完结」12篇文章带你逛遍主流分割网络

1 FCN

2 SegNet

3 空洞卷积

4 ENet

5 CRFasRNN

6 PSPNet

7 ParseNet

8 RefineNet

9 ReSeg

10 LSTM-CF

11 DeepMask

12 全景分割

「完结」12篇文章带你逛遍主流分割网络相关推荐

最新文章

热门文章