图像分类 Image Classification

The task of object classification requires binary labels indicating whether objects are present in an image.
给定一组各自被标记为单一类别的图像，我们对一组新的测试图像的类别进行预测，并测量预测的准确性结果，这就是图像分类问题。

物体检测 Object Detection/ Object Localization

Detecting an object entails both stating that an object belonging to a specified class is present, and localizing it in the image. The location of an object is typically represented by a bounding box.
物体检测，包含两个问题，一是判断属于某个特定类的物体是否出现在图中；二是对该物体定位，定位常用表征就是物体的边界框，通常是以包围盒的(bounding box)形式。

语义分割 Semantic Segmentation

The task of labeling semantic objects in a scene requires that each pixel of an image be labeled as belonging to a category, such as sky, chair, floor, street, etc. In contrast to the detection task, individual instances of objects do not need to be segmented.
语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类，因此语义分割是从像素级别来理解图像的。
Simply, our goal is to take either a RGB color image (height×width×3) or a grayscale image (height×width×1) and output a segmentation map where each pixel contains a class label represented as an integer (height×width×1).
不同于此前的图像分类和目标检测，在开始图像分割的学习和尝试之前，我们必须明确语义分割的任务描述，即搞清楚语义分割的输入输出都是什么。我们输入当然是一张原始的RGB图像或者单通道的灰度图，但是输出不再是简单的分类类别或者目标定位，而是带有各个像素类别标签的与输入同分辨率的分割图像。简单来说，我们的输入输出都是图像，而且是同样大小的图像。
https://www.jeremyjordan.me/semantic-segmentation/

实例分割 Instance Segment

“instance segmentation” means the segmentation of the individual objects within a scene, regardless of if they are the same type.
实例分割是物体检测+语义分割的综合体。相对物体检测的边界框，实例分割可精确到物体的边缘；相对语义分割，实例分割可以标注出图上同一类物体的不同个体。
类似于处理分类标签数据，对预测分类目标采用像素上的 one-hot 编码，即为每个分类类别创建一个输出的 channel 。

将分割图添加到原始图像上的效果验证。这里有个概念需要明确一下——mask，在图像处理中我们将其译为掩膜，如 mask-rcnn 中的 mask。mask 可以理解为我们将预测结果叠加到单个 channel 时得到的该分类所在区域。

由于语义分割需要输入输出都是图像，所以与之前经典的图像分类和目标检测网络在分割任务上就不大适用了。在此前的经典网络中，经过多层卷积和池化之后输出的特征图尺寸会逐渐变小，所以对于语义分割任务我们需要将逐渐变小的特征图给还原到输入图像的大小。
为了实现上述目标，现有的语义分割等图像分割模型的一种通用做法就是采用编码和解码的网络结构，此前的多层卷积和池化的过程可以视作是图像编码的过程，也即不断的下采样的过程。那解码的过程就很好理解了，可以将解码理解为编码的逆运算，对编码的输出特征图进行不断的上采样逐渐得到一个与原始输入大小一致的全分辨率的分割图。

FCN将网络全连接层用卷积取代，因此使任意图像大小的输入都变成可能，而且速度比Patch classification方法快很多。

全景分割 Panoptic Segmentation

Kirillov A , He K , Girshick R , et al. Panoptic Segmentation[J]. 2018.
论文来自何凯明组，主要工作是提出了将实例分割和语义分割结合起来的全景分割任务，并给出了此类任务的性能指标PQ(Panoptic Quality)。

语义分割、实例分割和全景分割：

语义分割：逐个像素分配标签（per-pixel class labels） assign a class label to each pixel
实例分割：逐个object进行mask和分类标签（per-object mask and class label）detect and segment each object instance
全景分割：逐像素分配一个stuff或things的语义标签和一个实例ID（per-pixel class+instance labels） generalizes both se- mantic and instance segmentation

强调了things和stuff的区别：
things：countable objects such as people, animals, tools 可数的objects，采用实例分割来处理
stuff：amorphous regions of similar texture or material such as grass, sky, road 相同或者相似纹理或材质的不规则区域，例如grass、sky、road等采用语义分割来处理。

The proposed task requires gener- ating a coherent scene segmentation that is rich and com- plete, an important step toward real-world vision systems.

计算机视觉：图像分类、物体检测、图像语义分割、实例分割和全景分割相关推荐

图像分类，物体检测，语义分割，实例分割等概念
图像分类 Image Classification The task of object classification requires binary labels indicating whethe ...
图像分类、检测，语义分割等方法梳理
本文旨在介绍深度学习在计算机视觉领域四大基本任务中的应用,包括分类(图a).定位.检测(图b).语义分割(图c).和实例分割(图d). 图像分类(image classification) 给定一张输 ...
tensorflow随笔——图像分类、检测，语义分割综述
看到一篇关于目标分类/检测/风格的综述型文章,觉得写的挺好,收藏下. 本文旨在介绍深度学习在计算机视觉领域四大基本任务中的应用,包括分类(图a).定位.检测(图b).语义分割(图c).和实例分割(图d ...
计算机视觉三大基本任务：分类、检测（定位）、分割（语义和实例）
前言刚刚接触计算机视觉时可能会对不同的任务的区分以及网络架构的选择产生迷惑,因此,在此总结了相关的基础知识.在本文中,我们试图回答两个问题: 不同任务要做的事情是什么,研究范畴是什么? 不同的任务需 ...
超像素、语义分割、实例分割、全景分割傻傻分不清？
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达在计算机视觉中,图像分割是个非常重要且基础的研究方向.简单来说,图 ...
笔记：基于DCNN的图像语义分割综述
写在前面:一篇魏云超博士的综述论文,完整题目为<基于DCNN的图像语义分割综述>,在这里选择性摘抄和理解,以加深自己印象,同时达到对近年来图像语义分割历史学习和了解的目的,博古才能通今!感 ...
自动驾驶深度多模态目标检测和语义分割:数据集、方法和挑战
自动驾驶深度多模态目标检测和语义分割:数据集.方法和挑战原文地址:https://arxiv.org/pdf/1902.07830.pdf Deep Multi-Modal Object Detec ...
深度学习图像语义分割
一.基本介绍 1. 什么是语义分割语义分割(Semantic Segmentation)是图像处理和机器视觉一个重要分支,其目标是精确理解图像场景与内容.语义分割是在像素级别上的分类,属于同一类的像 ...
速度提升一倍，无需实例掩码预测即可实现全景分割
点击我爱计算机视觉标星,更快获取CVML新技术本文经机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载. 选自arXiv 作者:Daan de Geus等机器之心编译参 ...

计算机视觉：图像分类、物体检测、图像语义分割、实例分割和全景分割

计算机视觉