概述

跑完计算机视觉模型后，想要看特征图（注意力图）的激活区域对应原图的位置，则需要将激活度大于阈值的特征点标识出来，并将其上采样到原图大小，和原图按一定比例覆盖，可视化效果如下：

requirements

环境：

torch >= 1.6

torchvision >= 0.8

numpy

opencv

timm

若版本不对，可参考笔者使用torch = 1.8，torchvison = 0.9

配置文件

.yaml 格式的config文件
包含内容如下，

权重

想要验证的 .pth 模型权重，需要和选用的模型匹配

代码实现

1. 计算梯度图

def simple_grad_cam(features, classifier, target_class):# 得到特征图features = nn.Parameter(features) # 计算分类结果logits = torch.matmul(features, classifier)# 回传logits[0, :, :, target_class].sum().backward()# 计算梯度features_grad = features.grad[0].sum(0).sum(0).unsqueeze(0).unsqueeze(0)# relu后归一化gramcam = F.relu(features_grad * features[0])gramcam = gramcam.sum(-1)gramcam = (gramcam - torch.min(gramcam)) / (torch.max(gramcam) - torch.min(gramcam))return gramcam

2. 计算热图

def get_heat(model, img):# 只需要前向传播过程with torch.no_grad():outs = model.forward_backbone(img.unsqueeze(0))# 得到特征features = []for name in outs:features.append(outs[name][0])# 每一层的权重layer_weights = [8, 4, 2, 1]# 初始化热图heatmap = np.zeros([args.data_size, args.data_size, 3])# 预处理每一张特征图for i in range(len(features)):f = features[i]f = f.cpu()if len(f.size()) == 2:S = int(f.size(0) ** 0.5)f = f.view(S, S, -1)# 调用simple_grad_cam计算梯度图gramcam = simple_grad_cam(f.unsqueeze(0), classifier=torch.ones(f.size(-1), 200)/f.size(-1), target_class=args.target_class)gramcam = gramcam.detach().numpy()# resize到原图大小gramcam = cv2.resize(gramcam, (args.data_size, args.data_size))# 热图颜色默认为红色heatmap[:, :, 2] += layer_weights[i] * gramcam# 按权重分配激活度heatmap = heatmap / sum(layer_weights)# 归一化heatmap = (heatmap - heatmap.min()) / (heatmap.max() - heatmap.min())heatmap[heatmap < args.threshold] = 0 # threshold# 从张量图变为RGBheatmap *= 255heatmap = heatmap.astype(np.uint8)return heatmap

3. 批量保存

if args.save_img_path != "":file_n = "mix" + os.path.basename(img_p)cv2.imwrite(os.path.join(args.save_img_path,file_n) , mix)

源代码

参考

https://github.com/chou141253/FGVC-PIM/

【深度学习】利用python画注意力热点图（heatmap）相关推荐

boxplot用法 python,[Python画图笔记]利用Python画箱型图boxplot
[Python画图笔记]利用Python画箱型图boxplot [Python画图笔记]利用Python画箱型图boxplot 最近在学习使用Python画图,想用subplot画两幅箱型图,分别用来 ...
python画折线图详解-利用python画出折线图
本文实例为大家分享了python画折线图的具体代码,供大家参考,具体内容如下 # encoding=utf-8 import matplotlib.pyplot as plt from pylab i ...
python画折线图-利用python画出折线图
本文实例为大家分享了python画折线图的具体代码,供大家参考,具体内容如下 # encoding=utf-8 import matplotlib.pyplot as plt from pylab i ...
深度学习-根据日志画loss-acc折线图
根据训练后的log日志画训练的loss-acc折线图 import matplotlib.pyplot as plt l_n = 0 a_n = 0 loss_x = [] loss_y = [] a ...
利用Python画随机水墨图
最近公司的事情忙的一逼,前段时间学的python再不看看等于又还回去了上次再老婆大人的创意下,做了一个觉得比较好玩的图片出来.没错,就是用python来作图! 原理解释其实就是采用了python中的 ...
利用python画外汇蜡烛图
导入本地数据集,进行数据处理,再进行画图 import numpy as np import matplotlib.pyplot as plt import pandas as pd import d ...
数据挖掘之利用Python画相关性矩阵图
#导入库 import pandas import seaborn as sns import numpy as np import os import matplotlib.pyplot as pl ...
opencv 计数后不动了训练模型时_用OpenCV,深度学习和Python进行年龄识别
(给Python编程开发加星标,提升编程技能.) 在本教程中,您将学习如何使用OpenCV,深度学习和Python执行年龄的自动识别/预测. 学完本教程后,您将能够以相当高的精确度去自动预测静态图像文 ...
python画一颗心_利用python画一颗心的方法示例
前言 Python一般使用Matplotlib制作统计图形,用它自己的说法是'让简单的事情简单,让复杂的事情变得可能'.用它可以制作折线图,直方图,条形图,散点图,饼图,谱图等等你能想到的和想不到的统 ...

【深度学习】利用python画注意力热点图（heatmap）

目录

概述

requirements

代码实现

1. 计算梯度图

2. 计算热图

3. 批量保存

源代码

参考

【深度学习】利用python画注意力热点图（heatmap）相关推荐

最新文章

热门文章