可视化模型背景

Gard-Cam方法目的是为了看到在模型训练过程中，我们的模型到底在关注哪些地方。如果一个模型分类总是分别。那么它一定把重点关注到了不重要的特征，Gard-Cam方法就可以看到在训练过程中我们的模型到底在关注哪些地方。
如图当我们在分类猫和狗时，通过Gard-Cam就可以知道模型在分类的时候关注点在哪一块。

当把它分类成猫的时候，它关注的特征一定在猫的身上
当把它分类成狗的时候，它的关注点一定在狗的身上，如下图所示

原理

当我们经过一系列的卷积操作得到的特征图，我们想知道这些特征图上的哪些点对我们的分类作用更大，比如当分类是猫的时候，这些特征图上的哪些点对我分类是猫的时候贡献比较大。我们这里可以遍历每个点，求每个点对我贡献有多大，这里其实就是一个反向传播，求每一个特征图每一个点对我分类的贡献值多大。就是我们需要做的事。

公式中的c表示是第几个类，yc表示是c这个类别的得分值，k的意思是第几个特征图，假设我们经过一系列的卷积得到了一个 7 * 7 * 512 的特征图，α(c,k)的意思是每个特征图的权重是多少，i,j表示的是特征图的大小，Z就是 i * j。意思就是我们要计算每个特征图影响，每个特征图计算每个点的重要程度求和再取平均，这些值算的结果大，就说明对这个类别的贡献比较大。

这个公式就说最终算的结果，我们再把我们之前算的每个特征图的影响再放到特征图当中，就可以知道每个特征图发挥的作用，在做一个累加。再通过relu函数把所有大于0 的贡献都加入到图中。

这里简单来说如果第一张特征图A的地方贡献比较大，第二张特征图B的地方贡献比较大，加在一起这些地方的贡献程度也会相加，简单来说如下图所示，简单画了一下。

应用

这两张图片分别是护士和医生，当模型训练有偏差的时候可以看到，模型的注意力在脸上，显然模型的注意力不应该在脸上。当训练正常的时候可以看到模型关注的地方在医生和护士所使用工具上

mmcls任务中使用

配置参数

配置完参数就可以直接运行看结果

蓝色表示关注点比较少，偏红色表示关注点比较大

总结

一般在模型训练结束可以用GARD-CAM的方法查看我们的模型在训练过程中关注点是否正确，也可以查看模型中不同层数的关注点，但一般只关注最后一层。
原论文：Grad-CAM: Visual Explanations from Deep Networks
via Gradient-based Localization

MMLAB学习-Gard-CAM可视化方法相关推荐

Python语言学习之图表可视化：python语言中可视化工具包的简介、安装、使用方法、经典案例之详细攻略
Python语言学习之图表可视化:python语言中可视化工具包的简介.安装.使用方法.经典案例之详细攻略目录 python语言中可视化工具包的简介 python语言中可视化工具包的安装 pytho ...
pytorch学习笔记十五：Hook函数与CAM可视化
一.Hook函数概念 Hook函数机制:不改变模型主体,实现额外功能,像一个挂件或挂钩等. 为什么需要这个函数呢?这与Pytorch的动态图计算机制有关,在动态图的计算过程中,一些中间变量会释放掉,比 ...
Adapting Grad-CAM for Embedding Networks - 度量学习网络可视化方法（reid、人脸识别）
Adapting Grad-CAM for Embedding Networks TL;DR 基于 grad-cam 修改得到一种适配embedding网络的可视化方法,可以用于人脸识别.reid等任 ...
InSAR学习（六）形变监测结果的可视化方法
本文将介绍几种常见的形变监测结果可视化方法,主要分为监测结果和误差可视化两种,监测结果又分为视线方向的监测结果和三维监测结果. 1 line-of-sight (LOS) direction 视线方向 ...
只需一次向前推导，深度神经网络可视化方法来了！（ECCVW 2022）
作者 | Ziyang Li 编辑 | 汽车人点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取点击进入→自动驾驶之心技术交流群导读本文首次提出可学习的 ...
CNN的一些可视化方法！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale推荐作者:yishun@知乎,编辑:极市平台来源丨https://zhua ...
别动不动就画折线图了，教你4种酷炫可视化方法
本文转自『机器之心编译』(almosthuman2014) 散点图.线图.直方图.条形图和箱形图,这些都是简单而强大的可视化方法,通过它们你可以对数据集有深刻的认识.在本文中,我们将看到另外 4 个数 ...
收藏 | CNN的一些可视化方法！
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达导读对神经网络进行可视化分析不管是在学习上还是实际应用上都有很重 ...
CNN 的一些可视化方法！
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达推荐阅读 42个pycharm使用技巧,瞬间从黑铁变王者Google ...
CNN 的一些可视化方法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者 | yishun@知乎来源丨https://zhuanlan.zhihu.com/p/5368 ...

MMLAB学习-Gard-CAM可视化方法

可视化模型背景

原理

应用

mmcls任务中使用

配置参数

总结

MMLAB学习-Gard-CAM可视化方法相关推荐

最新文章

热门文章