Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation

  • 摘要
  • 1. Introduction
  • 2. Related Works
  • 3. Method
    • 3.1. Difference detection network
    • 3.2. Self-supervised difference detection module

论文地址
这篇论文原文的定义实在是太混乱了，也可能是我自己理解能力不够，我自己写完连自己都搞晕了，所以更到一半后面的就没有继续记录，这篇文章讲的比较清楚。

摘要

本文通过移除噪音来提升mapping function的准确性。本文提出self-supervised difference detection模块，通过预测mapping前后的分割掩码来减少noise。

1. Introduction

语义分割要求复杂精细的标注，而弱监督的标注很容易获得。WSSS任务通常使用可视化的方法，比如CAM去解决。这样一来，从可视化结果到语义分割结果的映射就显得很重要，映射的其中一种方法就是CRF，CRF应用在映射函数，优化概率的分布，是一种利用颜色和位置信息作为特征来优化拟合到区域边缘的概率分布的方法。许多映射方法虽然有效，但是映射结果包含噪音。本文的映射函数将结果视为可以接受其包含噪音的结果，然后提出了一种暴力的解决噪音的方法。

在本文中，用作映射函数的输入的信息称为knowledge，包含噪音的监督信息称为advice，允许一对一映射的完全监督学习的监督称为teacher。knowledge和advice不同的部分称为difference。

推理knowledge和来自于knowledge的advice导致要提前预测advisor的advice，有些advice很好预测，因为在训练过程中有大量相似的例子，这些advice我们认为是有用的信息。基于此，我们提出一种方法，可以通过 difference detection中预测advice中有用的信息。见Fig. 1。

本文提出的Self-Supervised Difference Detection (SSDD)模块既可以应用在伪掩码生成的阶段，也可以应用在全监督训练阶段（这里说的全监督应该就是用伪掩码监督分割模型的阶段）。在生成seed（伪掩码）的阶段，我们用SSDD模块提炼了pixel-level semantic affinity (PSA)的CRF结果。在训练阶段，我们介绍了两个SSDD在全监督分割网络中循环的应用，并在实验中展现了良好的结果。

本文的contributions如下：

  • 提出SSDD模块，减少了映射函数的噪音并选择有用的信息。
  • 展示了SSDD模块在生成伪掩码和训练的阶段都有有效性。
  • 实验。

2. Related Works

3. Method


原文详细讲了advice，knowledge和difference的关系，以及本文的任务。

3.1. Difference detection network

我们定义knowledge的mask为mKm^KmK，advice的mask为mAm^AmA，他们的difference记为MK,A∈RH×WM^{K,A}\in\mathbb R^{H×W}MK,A∈RH×W。
MuK,A={1if(muK=muA)0if(muK≠muA)M_u^{K,A}= \left\{\begin{array}{rcl} 1 & if & (m_u^K=m_u^A) \\ 0 & if & (m_u^K\neq m_u^A) \end{array}\right. MuK,A​={10​ifif​(muK​=muA​)(muK​​=muA​)​
其中u∈{1,2,⋯,n}u\in\{1,2,\cdots,n\}u∈{1,2,⋯,n}表示像素点的位置，n是像素点的数量。然后，我们定义一个difference detection网络来推断difference。我们用从训练过的CNN中提取的特征图来协助推断。具体来讲，我们用了高级特征eh(x;θe)e^h(x;\theta_e)eh(x;θe​)和低级特征el(x;θe)e^l(x;\theta_e)el(x;θe​)，其中x是输入图像，e是由θe\theta_eθe​参数化的embedding function。在Fig. 3中，输入掩码的confidence map ddd由difference detection network (DDNet)生成。

图中左边输入的两个mask即knowledge和advice分别是mapping function的输入和输出。

我们接着谈DDNet，DDnet(eh(x;θe),el(x;θe),m^;θd),d∈RH×WDDnet(e^h(x;\theta_e),e^l(x;\theta_e),\hat{m};\theta_d),d\in\mathbb R^{H×W}DDnet(eh(x;θe​),el(x;θe​),m^;θd​),d∈RH×W，m^\hat mm^是one-hot vector mask，数量和类别数相同，θd\theta_dθd​是DD-Net的参数，e(x)=(el(x),eh(x))e(x)=(e^l(x),e^h(x))e(x)=(el(x),eh(x))。DD-Net的结构如Fig. 2所示。其由3个卷积层和有3个输入1个输出的Residual block组成。

DD-Net的输入是原始mask或经过处理的mask，输出是difference mask。这个网络的loss可以由下面式子来求：
Ldiff=1∣S∣∑u∈S(J(MK,A,dK,u;θd)+J(MK,A,dA,u;θd))\mathcal L_{diff}=\frac{1}{|S|}\sum_{u\in S}(J(M^{K,A},d^K,u;\theta_d)+J(M^{K,A},d^A,u;\theta_d)) Ldiff​=∣S∣1​u∈S∑​(J(MK,A,dK,u;θd​)+J(MK,A,dA,u;θd​))
其中S是输入空间像素的集合，J()函数输出交叉熵损失。注意这里的d是DD-Net预测输出的confidence map。
J(M,d,u)=Mulogdu+(1−Mu)log(1−du)J(M,d,u)=M_ulogd_u+(1-M_u)log(1-d_u) J(M,d,u)=Mu​logdu​+(1−Mu​)log(1−du​)
需要注意，embedding function θe\theta_eθe​的参数和θd\theta_dθd​的优化无关。

3.2. Self-supervised difference detection module

本节详述Fig. 3的SSDD模块。advice中在difference里为TRUE的部分记为SA,TS^{A,T}SA,T，FALSE的部分记为SA,FS^{A,F}SA,F。这个方法的目标就是尽可能多地从SAS^ASA中提取SA,TS^{A,T}SA,T。dKd^KdK是根据knowledge得到的advice的推断结果。

。。。。这篇论文原文的定义实在是太混乱了，我自己写完连自己都搞晕了，这篇文章讲的比较清楚。

Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation相关推荐

  1. Weakly Supervised Semantic Segmentation list

    Weakly Supervised Semantic Segmentation list 文章转自Github:https://github.com/JackieZhangdx/WeakSupervi ...

  2. [CVPR 2016] Weakly Supervised Deep Detection Networks论文笔记

    Weakly Supervised Deep Detection Networks,Hakan Bilen,Andrea Vedaldi https://www.cv-foundation.org/o ...

  3. 弱监督检测初识——Weakly Supervised Deep Detection Networks解读

    文章目录 1 WSDDN模型 1.1 预训练CNN 1.2 CNN特征描述 1.2.1 区域推荐算法 1.2.2 Spatial partial pooling 1.2.3 推荐区域的特征描述 1.3 ...

  4. Weakly Supervised Semantic Segmentation with Boundary Exploration

    Weakly Supervised Semantic Segmentation with Boundary Exploration 摘要 1 Introduction 2 Related Work 3 ...

  5. 【论文阅读】UntrimmedNets for Weakly Supervised Action Recognition and Detection

    Abstract 提出 UntrimmedNet ,从Untrimmed视频的视频级标签中直接学习动作识别和检测模型,分为 classification 和 selection 两个模块,可端到端训练 ...

  6. 论文笔记 Weakly Supervised Deep Detection Networks - CVPR 2016

    Weakly Supervised Deep Detection Networks Hakan Bilen, Andrea Vedaldi CVPR, 2016 (PDF) (Citations 58 ...

  7. 论文笔记 Object-Aware Instance Labeling for Weakly Supervised Object Detection - ICCV 2019

    Object-Aware Instance Labeling for Weakly Supervised Object Detection Kosugi ICCV, 2019 (PDF) (Citat ...

  8. Weakly Supervised Video Salient Object Detection

    Weakly Supervised Video Salient Object Detection 摘要 1. Introduction 2. Related Work 3. Our Method 3. ...

  9. 【论文阅读】Online Attention Accumulation for Weakly Supervised Semantic Segmentation

    一篇弱监督分割领域的论文,其会议版本为: (ICCV2019)Integral Object Mining via Online Attention Accumulation 论文标题: Online ...

  10. [论文阅读] Structure-Consistent Weakly Supervised Salient Object Detection with Local Saliency Coherence

    论文地址:https://ojs.aaai.org/index.php/AAAI/article/view/16434 代码:http://github.com/siyueyu/SCWSSOD 发表于 ...

最新文章

  1. 4、变量和方法被static和final两个关键字修饰，为什么这么做？
  2. VIEWGOOD流媒体平台推进广州图书馆数字化进程
  3. Spark分析之Standalone运行过程分析
  4. mysql errno : 1146_MySQL_MySQL复制出错 Last_SQL_Errno:1146的解决方法，背景：我们在做数据迁移或者 - phpStudy...
  5. Ubuntu Server 上在安装Nginx时执行./confgiure后提示：C compiler cc is not found
  6. ARM-Button-Driver-硬件图
  7. 217 Contains Duplicate
  8. 01《构建之法》阅读笔记01
  9. VS Code中的“工作区”是什么？
  10. python 函数定义位置_PYTHON--函数定义
  11. 使用STL标准模板库实现的个人通讯录
  12. 概率论-数理统计部分思维导图
  13. Ubuntu 10.04小企鹅输入法安装
  14. 中国第一代程序员潘爱民的程序人生
  15. 苏宁易购开放平台_发力内循环，苏宁易购开放平台商品交易规模大增56.83%
  16. 袁萌浅谈C919大飞机（三）
  17. HTML怎么把图片颜色加深,怎么把Photoshop的图片整体颜色加深？
  18. 使用条件分布模态流进行多变量概率时序预测
  19. 创蓝闪验php手机号一键登录
  20. Spring Cloud（02）——bootstrap文件介绍

热门文章

  1. 统计正数 和 负数的个数
  2. STC32G资料及入门介绍
  3. 刚刚热乎的Win11该如何配置
  4. Chinese word segmentation 中文词分割
  5. 机器学习系列 五 Classification 分类
  6. pygame飞机大战用精灵组层编写英雄系列（一）英雄也问出处，界面的菜单选择
  7. 海外版tiktok直播带货可以挂虾皮链接吗?
  8. 【转】写在员工离职之后
  9. 云原生数据库：数据库的风口，你也可以起飞
  10. SFP28光模块上的芯片及功能