contrastive CAM

文章目录

概
主要内容
- 一个有趣的应用

Prabhushankar M., Kwon G., Temel D. and AlRegib G. Contrastive explanation in neural networks. In 2020 IEEE International Conference on Image Process (ICIP), 2020.

Prabhushankar M., AlRegib G. Extracting causal visual features for limited label classification. In 2020 IEEE International Conference on Image Process (ICIP), 2021.

概

本文和对比学习和因果推断没有关系, 只是试图解释why P rather than Q 的问题.
本文可以归属于CAM.

主要内容

比如我们的网络fff可以用于区分篦鹭(spoonbill)和火烈鸟(flamingo).
现在有一张篦鹭的图片, 网络会给出一个概率, 一般的CAM的方法通过这个概率来判断哪个区域是被关注的.
更进一步地, 我们关心为什么这张图片中地是篦鹭而不是火烈鸟.
一般的CAM方法没法解答这个问题, 本文就给出了一个解释, 答案如上图. 即脖子这一块是主要的区分点.

首先我们需要衡量why P rather than Q问题的一个度量, 故对于离散的情况, 本文选择的时候经典的交叉熵损失函数: J(P,Q;θ)J(P, Q;\theta)J(P,Q;θ).
这里PPP的位置应该是网络判断的概率向量, 而QQQ则可以看成是在QQQ类对应的位置为1的one-hot向量.
这个其实和(targeted)对抗样本的思路是一样的, 唯一的区别可能就是CAM求的是JJJ关于最后一层卷积层的梯度, 而不是直接作用于图片本身.

以Grad-CAM为例:
LGrad−CAMc=ReLU(∑k=1KαkcAlk),L_{Grad-CAM}^c = \mathrm{ReLU}(\sum_{k=1}^K \alpha_k^c A_l^k), LGrad−CAMc=ReLU(k=1∑KαkcAlk),
αkc=GP(∂J(P,Q;θ)∂Alk)=1HW∑i∑j∂J(P,Q;θ)∂[Alk]ij.\alpha_k^c = GP(\frac{\partial J(P,Q;\theta)}{\partial A_l^k})=\frac{1}{HW}\sum_i \sum_j \frac{\partial J(P,Q;\theta)}{\partial [A_l^k]_{ij}}. αkc=GP(∂Alk∂J(P,Q;θ))=HW1i∑j∑∂[Alk]ij∂J(P,Q;θ).

一个有趣的应用

作者最近发了一篇关于COVID-19 CT scans的热点图的文章是上面的一个应用.
定义:

CP,Q\mathcal{C}_{P,Q}CP,Q 为回答why P or Q的热点图, 关注所有的利用判别的特征;
CPˉ,Qˉ\mathcal{C}_{\bar{P},\bar{Q}}CPˉ,Qˉ 为回答why neither P nor Q的热点图, 所有其它的特征;
CP,Qˉ\mathcal{C}_{P,\bar{Q}}CP,Qˉ 为回答why neither P nor Q的热点图, 所有用于判别PPP的特征(包括P,QP, QP,Q共有的);
GP\mathcal{G}_PGP是通过Grad-CAM得到的热点图.

通过
CP\BP=GP−[CP,Q−CPˉ,Qˉ−CP,Pˉ]C_P \backslash B_P = \mathcal{G}_P - [\mathcal{C}_{P, Q} - \mathcal{C}_{\bar{P}, \bar{Q}} - \mathcal{C}_{P, \bar{P}}] CP\BP=GP−[CP,Q−CPˉ,Qˉ−CP,Pˉ]

即作者认为这样就能得到只用于判别PPP的部分, 示意图如下:

注: 文中的L(y,[1,1])\mathcal{L}(y, [1, 1])L(y,[1,1])之类实在不能理解, 难不成是多标签分类?

contrastive CAM相关推荐

ContrastMask: Contrastive Learning to Segment Every Thing
摘要部分监督实例分割是一种通过学习有限的base类和带注释的掩码来从novel类别中分割对象的任务,从而消除了沉重的注释负担.解决这一问题的关键是建立一个有效的类不可知掩码分割模型.与以前只在bas ...
Contrastive learning of Class-agnostic Activation Map for Weakly Supervised Object Localization and
paper: Contrastive learning of Class-agnostic Activation Map for Weakly Supervised Object Localizati ...
【论文阅读】【CVPR2022】Contrastive Learning of Class-agnostic Activation Map
Contrastive Learning of Class-agnostic Activation Map for Weakly Supervised Object Localization and ...
openmv4闪灯说明_OpenMV Cam
改了一下算法,大致是因为类型是float才输出不了的,将err_x转成int型就行了.但是Flag还是无法输出. 用write(Flag)也不行,改成数据用writechar(Flag)也不行 imp ...
可视化卷积神经网络的过滤器_万字长文：深度卷积神经网络特征可视化技术(CAM)最新综述...
↑ 点击蓝字关注极市平台作者丨皮特潘@知乎来源丨https://zhuanlan.zhihu.com/p/269702192编辑丨极市平台极市导读本文通过引用七篇论文来论述CAM技术,对CAM的 ...
从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering)
从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering) 作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailug ...
Understanding the Behaviour of Contrastive Loss理解对比损失的性质以及温度系数的作用
论文标题:Understanding the Behaviour of Contrastive Loss Understanding the Behaviour of Contrastive Loss ...
DivCo: Diverse Conditional Image Synthesis via Contrastive Generative Adversarial Network
模式崩溃是cGAN较为重要的问题,以往工作大多数都致力于关注latent code和生成图像之间的关系而没有关注通过不同latent code生成的图像之间的关系.MSGAN(mode seeking ...
对比学习（Contrastive Learning）综述
A.引入 https://zhuanlan.zhihu.com/p/346686467 A.引入深度学习的成功往往依赖于海量数据的支持,其中对于数据的标记与否,可以分为监督学习和无监督学习. 1 ...
PCB 围绕CAM自动化，打造PCB规则引擎
AutoCAM自动化平台,前端管理订单,而后端执行任务,前端UIl界面有板厚,铜厚,板材,表面处理,层数等信息,而这些信息并不是后端最终所需要的信息后.拿钻孔补偿来说,后端需要的是钻孔补偿值,但前端并 ...

contrastive CAM

文章目录

概

主要内容

一个有趣的应用

contrastive CAM相关推荐

最新文章

热门文章