论文：Weakly-Supervised Semantic Segmentation via Sub-Category Exploration
论文下载：[Weakly-Supervised Semantic Segmentation via Sub-Category Exploration](https://openaccess.thecvf.com/content_CVPR_2020/papers/Liu_Severity-Aware_Semantic_Segmentation_With_Reinforced_Wasserstein_Training_CVPR_2020_paper.pdf)
源码地址：[https://github.com/Juliachang/SC-CAM](https://github.com/Juliachang/SC-CAM)

Background

语义分割的目标是为图像中的每一个像素指定一个相应的语义类别。它是计算机视觉中的最重要的任务之一，在图像编辑、场景理解等任务重应用广泛。今年来的全监督语义分割模型已经能够得到不错的效果，但是由于全监督的语义分割模型需要像素级的标注，而这需要大量的人力和时间成本，故大量的弱监督语义分割模型应运而生，它们中有image-level, video-level, bounding box, point-level [2], and scribble-based labels.本文只讨论image-lavel的弱监督语义分割方法。

基于图像级标签的弱监督语义分割，目前主流的一种做法是：
1. 生成类激活图CAM
2. refine类激活图CAM并生成pseudo label
3. 利用生成的pseudo label训练全监督的语义分割网络

Motivation

存在的问题：

CAM本身存在的问题：由于CAM是通过分类网络提取出来的，而我们优化分类网络只需要关注到一个物体最值得注意的地方就行了，所以生成的CAM往往只会高亮一个物体中最值得模型关注的地方（比如猫的头）
现在大多数的算法都关注于上述过程中的第二步和第三步。但是，如果第一步生成的CAM效果本身就很差，那么不论如何优化CAM也无法得出高质量的pseudo label，甚至还会出现负优化的情况。本篇论文便着眼于提高第一步生成的CAM质量，从而对后面的过程也能产生有利的影响。同时，由于该算法是为了提高第一步生成的CAM的质量，故后面还可以用上其他的优化方法从而进一步提高模型的性能。

Method

该算法的基本思想是：由于分类网络的损失函数较为简单，模型不需要关注整个物体便能得到很好的效果，故我们可以人为的增加分类网络的难度，从而迫使模型需要关注到目标尽可能多的部分才能得到很好的优化。

本论文的做法是：引入一个自监督的sub-category分类任务，增加模型的难度，迫使模型只有尽可能多的关注到目标的区域才能得到很好的优化。
算法的框架如下：

具体过程为：

首先，利用在ImageNet预训练过的特征提取器E对每一个类别的所有图片分别提取特征并保存，然后对每一个类别保存的特征，利用K-Means聚类将一个parent class（即原来数据集中的类别）分为K个sub-category，作为后面分类网络训练的伪标签。
利用原数据集中提供的图像级标签和第一步生成的sub-category的伪标签训练分类网络，这个分类网络是结构是上述提到的特征提取器E后面接两个全连接层分别用于image-level（即原图中的类别）和sub-category的分类任务。
利用优化过的特征提取器E再根据第一步的过程生成sub-category的伪标签。
重复2，3步骤多次（原文中作者说根据他们的实验结果重复3次的效果比较好）
利用image-lavel分类的分支提取CAM
优化CAM并生成pseudo label
用生成的pseudo label训练全监督语义分割网络

论文中出现的公式

本论文中出现的公式并不复杂，建议大家阅读一下原论文

论文阅读：Weakly-Supervised Semantic Segmentation via Sub-Category Exploration相关推荐

【论文阅读】Online Attention Accumulation for Weakly Supervised Semantic Segmentation
一篇弱监督分割领域的论文,其会议版本为: (ICCV2019)Integral Object Mining via Online Attention Accumulation 论文标题: Online ...
【论文阅读】Regional Semantic Contrast and Aggregation for Weakly Supervised Semantic Segmentation
论文标题: Regional Semantic Contrast and Aggregation for Weakly Supervised Semantic Segmentation 作者信息: 代 ...
【论文阅读】Cross Language Image Matching for Weakly Supervised Semantic Segmentation
这篇论文是CLIP模型较早的在弱监督分割上应用的论文. 论文标题: Cross Language Image Matching for Weakly Supervised Semantic Segme ...
【论文阅读】Weakly Supervised Semantic Segmentation using Out-of-Distribution Data
一篇弱监督分割领域的论文,发表在CVPR2022上: 论文标题: Weakly Supervised Semantic Segmentation using Out-of-Distribution D ...
阅读笔记：Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation
Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation 基于等变注意力机 ...
文章阅读Non-Salient Region Object Mining for Weakly Supervised Semantic Segmentation
Non-Salient Region Object Mining for Weakly Supervised Semantic Segmentation 文章名称:非显著区域对象挖掘的弱监督语义分割 ...
【cvpr2022-论文笔记】《Multi-class Token Transformer for Weakly Supervised Semantic Segmentation》
目录 MCTformer-V1 Class-specific multi-class token attention Class-specific attention refinement Class ...
Weakly Supervised Semantic Segmentation with Boundary Exploration
Weakly Supervised Semantic Segmentation with Boundary Exploration 摘要 1 Introduction 2 Related Work 3 ...
Weakly Supervised Semantic Segmentation list
Weakly Supervised Semantic Segmentation list 文章转自Github:https://github.com/JackieZhangdx/WeakSupervi ...
机翻《C-CAM: Causal CAM for Weakly Supervised Semantic Segmentation onMedical Image 》
前言 <C-CAM: Causal CAM for Weakly Supervised Semantic Segmentation onMedical Image>CVPR2022,有源码 ...

论文阅读：Weakly-Supervised Semantic Segmentation via Sub-Category Exploration

Background

Motivation

Method

论文中出现的公式

论文阅读：Weakly-Supervised Semantic Segmentation via Sub-Category Exploration相关推荐

最新文章

热门文章