文章目录

Abstract
一、方法
- 1. Computing CAMs
- 2. Learning AffinityNet
二、实验

Learning Pixel-level Semantic Affinity with Image-level Supervision for Weakly Supervised Semantic Segmentation
Paper： https://openaccess.thecvf.com/content_cvpr_2018/papers/Ahn_Learning_Pixel-Level_Semantic_CVPR_2018_paper.pdf
Code：https://github.com/jiwoon-ahn/psa

Abstract

分割标签的缺失是野外语义分割的主要障碍之一。为了缓解这一问题，我们提出了一个新的框架，给定图像级类标签生成图像的分割标签。在这种弱监督的设置中，训练过的模型可以分割局部的鉴别部分，而不是整个对象区域。我们的解决方案是将这种局部响应传播到属于同一语义实体的附近区域。为此，我们提出了一种被称为亲和网络的深度神经网络(DNN)，它可以**预测一对相邻图像坐标之间的语义亲和力。然后通过亲和网络预测的亲和度来实现语义传播。**更重要的是，用于训练关联网络的监督是由初始识别部分分割给出的，它作为分割注释是不完整的，但足以学习小图像区域内的语义亲和性。因此，整个框架只依赖于图像级的类标签，而不需要任何额外的数据或注释。

一、方法

对象类别和背景的显著区域首先由CAMs[40]在训练图像中进行定位（第3.1节）。从显著区域出发，我们对相邻坐标对进行采样，并根据它们的类一致性给它们分配二进制标签。然后使用这些标记的对来训练亲和网络（第3.2节）。训练后的亲和网络依次预测局部图像区域内的语义亲和，这些区域结合随机亲和来修正cam（第3.3节），并生成它们的分割标签（第3.4节）。最后，将生成的注释作为监督模型，训练语义分割模型。

1. Computing CAMs

其中wc是与类c相关的分类权值(x，y)表示位于GAP之前的特征图上(x，y)的特征向量。Mc被进一步归一化，使最大激活等于1：Mc（x，y）→Mc(x，y)/maxx、yMc(x，y）。对于任何与基本事实无关的类c0，我们忽略了Mc0的激活分数为0。我们还估计了一个背景激活图，它是由

2. Learning AffinityNet

亲和网络旨在预测训练图像上一对相邻坐标之间的类不可知的语义亲和度。在随机游走中使用预测的亲和度作为转移概率，使随机游走将CAMs的激活分数传播到同一语义实体的附近区域，从而显著提高了CAMs的质量。为了提高计算效率，affinitynet被设计用来预测一个卷积特征映射faff，其中一对特征向量之间的语义亲和力是根据它们的L1距离来定义的。具体来说，特征i和特征j之间的语义亲和度用Wij表示，并定义为

式中(xi、yi)表示特征图faff上第i个特征的坐标。这样，通过网络的一次正向传递，可以有效地计算出给定图像中存在的大量语义亲和度。

Generating Semantic Affinity Labels
为了估计物体的可信区域，我们首先通过减少等式中的α来放大Mbg（2），使背景分数主导了cam中不显著的物体激活分数。在将dCRF应用于cam进行细化后，我们通过收集目标类的分数大于包括放大背景在内的任何其他类的坐标来识别每个对象类的可信区域。此外，在相反的情况下(即增加α以削弱Mbg)，可以以同样的方式识别自信的背景区域。图像中的剩余区域将被认为是中性的。这个过程的结果如图4(a)所示

现在，可以根据由自信区域确定的类标签，为每对坐标分配一个二进制亲和标签。对于非中性的两个坐标(xi、yi)和(xj、yj)，如果它们的类相同，则它们的亲和标签W∗ij为1，否则则为0。

AffinityNet Training
特别是，由于以下两个原因，在训练过程中只考虑了足够相邻的坐标的亲和性。首先，由于缺乏上下文，很难预测两个坐标之间的语义亲合力。其次，通过仅对相邻坐标对进行寻址，我们可以显著降低计算成本。

其中d（·，·）为欧氏距离，γ是限制选定对之间的距离的搜索半径。
然而，由于阶级不平衡的问题，直接从P中学习亲缘网络是不可取的。我们观察到，在P中，类分布明显偏向于正的类分布，因为负对只在对象边界附近采样。同样在正对的子集中，由于许多照片中的背景大于对象对，因此背景对的数量明显大于对象区域。为了解决这个问题，我们将P分为三个子集，并从单个子集获得总损失。具体来说，我们首先将P分成正对和负对的两个子集：

并进一步将P+分别分解为Pfg+和P+bg。然后计算每个子集的交叉熵损失如下：

生成语义亲和性标签的概念性说明。(a)物体类别和背景的自信区域：桃色代表人，绿色代表植物，黑色代表背景。中性区域是用白色的颜色编码的。(b)坐标对在一个小的半径内采样，用于训练亲和网。如果每对的两个坐标来自同一个类，则它们被分配为1，则标记为0。当两个坐标中至少有一个属于中性区域时，在训练过程中忽略这对坐标。

二、实验

【CVPR2018】利用图像级监督进行弱监督语义分割的学习像素级语义亲和力相关推荐

点云分割训练哪家强？监督，弱监督，无监督还是半监督？
点击进入->3D视觉工坊学习交流群 0. 笔者个人体会近年来,自动驾驶领域的各项下游任务基本上都要求了对场景的语义理解,比如自动驾驶车辆要能够理解哪个是路面.哪个是交通灯.哪个是行人.哪个是树 ...
自监督、弱监督、半监督 kick-off
最近对这几个 topic 比较感兴趣,也断断续续看了不少 paper,先简单总计一下现阶段的理解,后续如果理解更加深入后再更新: 自监督,弱监督和半监督没有明确的界限.都可以划归到深度迁移学习概念下. ...
【VALSE 2019 PPT】南开计算机视觉万人计划教授-程明明-《弱监督图像语义分割》学习记录
摘要: 基于深度卷积神经网络的传统语义分割模型严重依赖于大量人工标注数据,因而在学习新的类别信息时需要庞大的人力成本来标注数据.弱监督语义分割技术,由于仅依赖图像类别标签等轻量级标注数据,也因此正在成 ...
【机器学习】有监督、无监督、自监督、半监督、弱监督的区别
有监督:用有标签的数据训练: 无监督:用无标签的数据训练: K-means等半监督:利用数据分布上的模型假设建立学习器对未标签样例进行标签.通常是两阶段的训练,先用(较小规模的)有标签数据训练一个T ...
有监督、半监督、无监督、弱监督、自监督
1.有监督:用有标签的数据训练: 2.无监督:用无标签的数据训练: 3.半监督:利用数据分布上的模型假设建立学习器对未标签样例进行标签.通常是两阶段的训练,先用(较小规模的)有标签数据训练一个Teac ...
远程监督、弱监督、有监督、半监督到底怎么区分
最近火起来的远程监督到底和过去的半监督有什么区别?我的总结如下: 监督学习主要分为以下三类(强化学习等没有考虑): 1.有监督:用有标签的数据训练 2.无监督:用无标签的数据训练 3.弱监督:用含有噪 ...
有监督、半监督、无监督、弱监督、自监督的定义和区别
个人对这几个名词粗浅的理解和区分,不甚全面,仅供参考. 有监督:用有标签的数据训练: 无监督:用无标签的数据训练: 半监督:同时用有标签和无标签的数据进行训练.最近非常火热,此领域的发展也非常迅速,先 ...
labelme 语义分割数据集_labelme安装以及使用教程——自制语义分割数据集（保姆级示范）...
前言: 这次我们要做的是一个物堆(也可以是沙.矿堆之类)的数据集,用于语义分割.我们的工作,就是要使用labelme工具,利用原图1.jpg生成它的标签图片1.png,得到的最终结果像下面这样: 1. ...
深度学习像素级标签制作总结
标签制作方法总结: 以下介绍的几种标签制作方法,可以制作目标识别的矩形标签,也可以制作像素级别的分割标签,制作的标签为单通道 uint8 类型的格式.可以根据自己的需要进行选择合适的方法. 方法1:L ...

【CVPR2018】利用图像级监督进行弱监督语义分割的学习像素级语义亲和力