文章目录

方法
实验
Limitation

论文：https://arxiv.org/abs/2303.10438
代码：https://github.com/wpy1999/SAT/blob/main/Model/SAT.py

方法

这篇文章的方法应该属于FAM这一类。

额外添加的一个spatial token，从第10-12层开始，利用其得到的attn map (对hea求mean–B, 1, 1, N+2) 作为visual cue去指出oject region，作用方式为将attn map 点乘到 attn weights(B, h, N+2, N+2)
attn map得到的方式：不同与attn weights 是经过softmax，它这里是经过Sigmoid的。至于为什么，可能是Sigmoid后得到的map 激活更完整吧
最后的localization map是将前面L层的attn map求mean。虽然这种方法可以最大限度地捕获分类网络中的定位信息，但是从图像级标签获得的像素级监督是稀疏和不平衡的。为了补偿和加强这种监督，我们设计了批量区域损失和归一化损失。
1. Bach Area Loss
  
  L b a = ∣ ∑ b B ∑ i H ∑ j W ( λ − M b ( i , j ) B × H × W ) ∣ \mathcal{L}_{b a}=\left|\sum_{b}^{B} \sum_{i}^{H} \sum_{j}^{W}\left(\lambda-\frac{M_{b}(i, j)}{B \times H \times W}\right)\right| Lba= b∑Bi∑Hj∑W(λ−B×H×WMb(i,j))
  
  让激活区域更紧致，这类Loss这WSOL和WSSS很常见。
  
  where λ is a sparse area supervision with prior knowledge.The λ is set to 0.25 and 0.35 on CUB-200 and ImageNet.
2. Normalization Loss
  
  L norm = 1 H × W ∑ i H ∑ i W M ∗ ( i , j ) ( 1 − M ∗ ( i , j ) ) \mathcal{L}_{\text {norm }}=\frac{1}{H \times W} \sum_{i}^{H} \sum_{i}^{W} M^{*}(i, j)\left(1-M^{*}(i, j)\right) Lnorm =H×W1i∑Hi∑WM∗(i,j)(1−M∗(i,j))
  
  增强前-背景的区分度。应该会使得前景的激活响应更强，背景的激活响应更弱。
  
  在计算这个loss之前先用高斯滤波对loc map处理，增强局部一致性。（那为什么batch area loss之前不先用高斯滤波处理？？）
分类就跟之前transformer-based的方法一样，将patch token 变回feature map的形式，经过一层3x3 conv 后接avgpooling

注意：这篇文章的定位仅依赖于spatial token 带来的 attn map，不同与一些之前transformer-based的方法将attn map 与 semantic map 耦合。

实验

现有方法对比

在ImageNet上的消融，四幅图对应四种情况

area loss 和 normalization loss 效果我比较关注；

不同backone下验证

为什么要额外加一个spatial token 而不直接利用原有的cls token？

文章里从优化角度解释

Limitation

在ImageNet上应该会有更多困难的情况。

【论文阅读--WSOL】Spatial-Aware Token for Weakly Supervised Object Localization相关推荐

论文阅读：Attention-based Dropout Layer for Weakly Supervised Object Localization
Attention-based Dropout Layer for Weakly Supervised Object Localization 作者贡献 ADL: Attention-based Dr ...
TS-CAM: Token Semantic Coupled Attention Map for Weakly Supervised Object Localization
TS-CAM:由Vision Transformer架构产生CAM类别激活图的一种方法文章目录 TS-CAM:由Vision Transformer架构产生CAM类别激活图的一种方法前言一.论文 ...
Ideas For Weakly Supervised Object Localization
Ideas For Weakly Supervised Object Localization 最近开始跟着师兄做弱监督学习和医疗影像,近日阅读了几篇文章,与 Object Localization ...
目标定位--Deep Self-Taught Learning for Weakly Supervised Object Localization
Deep Self-Taught Learning for Weakly Supervised Object Localization CVPR 2017 https://arxiv.org/abs/ ...
Contrastive learning of Class-agnostic Activation Map for Weakly Supervised Object Localization and
paper: Contrastive learning of Class-agnostic Activation Map for Weakly Supervised Object Localizati ...
【论文阅读】Online Attention Accumulation for Weakly Supervised Semantic Segmentation
一篇弱监督分割领域的论文,其会议版本为: (ICCV2019)Integral Object Mining via Online Attention Accumulation 论文标题: Online ...
弱监督目标检测算法论文阅读（五）Combinational Class Activation Maps for Weakly Supervised Object Localization
Abstract 弱监督的对象定位最近吸引了关注,因为它旨在通过使用图像级标签来识别类标签和对象位置.先前的大多数方法都使用与最高激活源相对应的激活图.仅利用一个最高概率类别的激活图通常会偏向有限的区 ...
Weakly Supervised Object Localization：From CNN to Transformer、Weakly Supervised Semantic Segmentatio
弱监督学习知识点补充一. 弱监督学习类型不完全监督问题 1.主动学习 2.半监督学习迁移学习不确切监督问题(类似于一个包装盒子有标签,但是盒子中具体的东西没有标签) 解决办法----多示例学 ...
Utilizing the Instability in Weakly Supervised Object Detection (CVPR2019) 解读
论文链接:Utilizing the Instability in Weakly Supervised Object Detection 本文主要贡献: 通过分析检测器多示例学习(MIL)的不稳定性, ...

【论文阅读--WSOL】Spatial-Aware Token for Weakly Supervised Object Localization

文章目录

方法

实验

Limitation

【论文阅读--WSOL】Spatial-Aware Token for Weakly Supervised Object Localization相关推荐

最新文章

热门文章