「图像分割模型」全景分割是什么？
https://www.toutiao.com/a6717219520286556679/
这是专栏《图像分割模型》的第12篇文章。在这里，我们将共同探索解决分割问题的主流网络结构和设计思想。
本文是专栏的最后一篇文章，见识过了分割任务中的大量模型，也了解了语义分割与实例分割，这篇文章我们一起来看一下新概念“全景分割”。
作者 | 孙叔桥
编辑 | 言有三
本期论文：《Panoptic Segmentation》
1 全景分割
与之前介绍的语义分割与实例分割不同，全景分割任务（Panoptic Segmentation）要求图像中的每个像素点都必须被分配给一个语义标签和一个实例id。其中，语义标签指的是物体的类别，而实例id则对应同类物体的不同编号。
目前，分割任务大多按照不可数目标（stuff类别）和可数目标（things类别）进行单独的分割。造成二者无法统一在同一分割任务下的主要原因是缺少合适的度量矩阵。
除此之外，全景分割的实现也面临着其他难题。比如，与语义分割相比，全景分割的困难在于要优化全连接网络的设计，使其网络结构能够区分不同类别的实例；而与实例分割相比，由于全景分割要求每个像素只能有一个类别和id标注，因此不能出现实例分割中的重叠现象。
全景分割效果示例
全景分割的具体分割形式有以下两点要求：
- 图像中的每个像素点都有一个对应的语义类别和一个实例id，如果无法确定可以给予空标注。
- 所有语义类别要么属于stuff，要么属于things，不能同时属于二者；且stuff类别没有实例id（即id统一为一个）。
全景分割与语义分割的关系：
如果所有的类别都是stuff，那么全景分割除了度量与语义分割不同外，其它相同。
全景分割与实例分割的关系：
全景分割中不允许重叠，但实例分割可以；此外，实例分割需要每个分割的置信概率，但全景分割不需要。尽管如此，全景分割内为了辅助机器的辨识，也是可以引入置信概率的概念的。
2 度量矩阵
为了将stuff类别和things类别统一在一个分割任务下，全景分割的度量应当具有以下三个性质：
- 完整性：对stuff和things类别一视同仁，包含任务中的所有方面。
- 可解释性：度量需要具有能够可定义、可理解、可交流的性质。
- 简单：有效的度量应当简洁、可复现。
基于此，全景分割的度量被分为了分割匹配（segment matching）和全景质量计算（panoptic quality computation）两个部分。
- 分割匹配：要求IoU（Intersection over Union）严格大于0.5才算匹配，且不可以有重叠区域，限制一个像素只能对应一个标签。
- 全景质量计算：对每个类别的全景分割质量的单独计算结果取平均，从而保证分割结果对类别不敏感。
其中，第二项将每个类别分为三类：true positives（TP）、false positives（FP）和false negative （FN），分别对应配对的分割、不配对的分割和不配对的真值分割。下图中给出了一个示例，分别展示了person类别是如何被划分进上述三类中的。
综上，全景分割质量的度量由下式定义：
其中，分子是对所有匹配上的分割求平均IoU；分母后两项是惩罚匹配错误的点，即通过增加分母使得分割质量下降。
全景分割与现有分割度量的比较：
- 与语义分割度量的比较：语义分割度量（像素准确度、平均准确度、IoU）只关注像素级的正确率，而没有考虑实例正确性，因此无法适应things类别的分割任务。
- 与实例分割度量的比较：标准的实例分割度量考察平均精度，即每个目标分割的置信概率用于估计precision或recall；然而，这类度量无法适应语义分割和全景分割任务的要求。
3 数据库及实验结果
目前就作者已知的全景分割数据库只有Cityscapes、ADE20k和Mapillary Vistas。
下面是三个数据库的链接，有需要可以自取：
Cityscapes：https://www.cityscapes-dataset.com/
ADE20k：http://groups.csail.mit.edu/vision/datasets/ADE20K/
Mapillary Vistas：
https://blog.mapillary.com/product/2017/05/03/mapillary-vistas-dataset.html
下图是在Cityscapes下的分割结果：
总结
《图像分割模型》专栏到这里就全部结束了，希望通过这12期的介绍，能够让大家对图像分割有一个基本的了解。
「图像分割模型」全景分割是什么？相关推荐
- 【图像分割模型】全景分割是什么？
这是专栏<图像分割模型>的第12篇文章.在这里,我们将共同探索解决分割问题的主流网络结构和设计思想. 本文是专栏的最后一篇文章,见识过了分割任务中的大量模型,也了解了语义分割与实例分割,这 ...
- 「图像分割模型」编解码结构SegNet
https://www.toutiao.com/i6715692120516067847/ 这是专栏<图像分割模型>的第2篇文章.在这个专栏里,我们将共同探索解决分割问题的主流网络结构和设 ...
- 【图像分割模型】实例分割模型—DeepMask
这是专栏<图像分割模型>的第11篇文章.在这里,我们将共同探索解决分割问题的主流网络结构和设计思想. 本文介绍了用于实例分割任务的模型结构--DeepMask. 作者 | 孙叔桥 编辑 | ...
- 线性插值改变图像尺寸_【图像分割模型】实例分割模型—DeepMask
这是专栏<图像分割模型>的第11篇文章.在这里,我们将共同探索解决分割问题的主流网络结构和设计思想. 本文介绍了用于实例分割任务的模型结构--DeepMask. 作者 | 孙叔桥 编辑 | ...
- python编写赛车_「世界模型」实现，一步步让机器掌握赛车和躲避火球的技能
前段时间,由谷歌大脑研究科学家 David Ha 与瑞士 AI 实验室 IDSIA 负责人 Jürgen Schmidhuber(他也是 LSTM 的提出者)共同提出的「世界模型」让人工智能在「梦境」 ...
- 如果用「上瘾模型」打开「创造营2021」，会发现什么玄机？
随着「青春有你3」和「创造营4」的热播,两档偶像综艺的爆火让更多人看到了国内偶像市场的潜力,一时间掀起了选秀热潮,一瞬间仿佛大家都是秀粉. 国内偶像经济行业的春天已经到来,偶像是经纪公司精心包装过的商 ...
- 综述的综述！5 篇2020 年「图像分割算法」最佳综述论文详解
在过去的一年中,计算机视觉领域出现了许多优秀的工作,并推动了相关领域的技术发展与进步.极市平台对2020年出现的全部计算机视觉综述论文进行了分方向梳理.本篇文章为2020年图像分割方向的综述论文汇总, ...
- AI版「盗梦空间」？谷歌大脑「世界模型」可实现在其梦境中对智能体进行训练
图源:pixabay 原文来源:arXiv 原文链接:https://arxiv.org/pdf/1803.10122.pdf 作者:David Ha.Jurgen Schmidhuber 「雷克世界 ...
- Percy Liang、李飞飞等百余位学者联名发布：「基础模型」的机遇与挑战
撰文:赵言,秦红川,程晨 校对:贾伟 随着BERT.GPT-3.DALL-e等超大模型的兴起,自监督学习+预训练模型微调适配方案,逐渐成为主流.这种范式会先在超大规模海量数据上进行自监督的模型预训练, ...
最新文章
- brad wu_一百万归功于Brad Traversy
- Xilinx® 7 series FPGAs CLBs专题介绍（二）
- spring in action 7.1 小结
- Mac 安装HomeBrew 出错
- oracle查询用户的概要文件,Oracle用户、概要文件、权限及角色实例
- photoshop的页面制作练习1
- Windows界面编程-背景图片、透明特效使用
- cannot delete activity in SAP CRM WebClient UI
- html5的网络书店图书网站代码_【技能提升】10个编写HTML5的实用小技巧
- 【c】【报错解决】incompatible implicit declaration
- openstack 功能_为什么我们在OpenStack中冻结功能
- win系统删除，已经注册的服务
- 在 vCenter Server 中触发了 vSphere Distributed Switch 绑定警报 (2057667)
- 百行征信大揭秘，字段中间找关系
- Neuralink新动作：在洛杉矶开设动物实验中心
- archlinux 触摸板设置
- 《windows程序设计(C语言版)》笔记
- Windows自带的播放器Media Player实现快进
- Opencv人数统计 yolo kcf人头跟踪 人数统计 KCF目标跟踪 YOLO目标跟踪
- 使用Databricks作为分析平台