Adapting Grad-CAM for Embedding Networks

TL;DR

基于 grad-cam 修改得到一种适配embedding网络的可视化方法，可以用于人脸识别、reid等任务
基于度量学习中常用的 triplet loss 代替分类任务中的类别激活值来进行反向求导
对训练集提前提取特征与反传梯度，在测试阶段采取复用训练集中的梯度来避免在测试阶段的反向求导过程

Introduction

传统的 grad-cam 基于对某类别的得分（ $y^{c}$ ），求取对某层特征（ $A^{k}$ ）的梯度后得到该层特征的权重值
直接在 embedding 网络中使用 grad-cam 有以下挑战：
- 对于 embedding 网络，不管在训练还是测试阶段网络的输出并不是类别得分
- 测试阶段，对于单张输入图片难以计算对于某层特征的梯度，因为一张图片既没有配对图片也没有标签
所以作者修改 grad-cam 用于对 embedding 网络可视化

Dataset/Algorithm/Model/Experiment Detail

实现方式

使用 triplet loss 来计算对某层特征的梯度，根据梯度计算特征的加权权重
作者尝试了距离损失和配对损失的效果都不如 triplet loss，怀疑是与训练阶段对齐的 loss 会效果更好
取多个 triplet 对的平均能提升效果，取梯度最大（平均）的50个channel也能提升效果
weight transfer 用于使测试阶段无需计算单张图片的反传梯度也能进行可视化
- 首先需要提前提取训练阶段的样本的 embedding feature 和对选定特征层的反传梯度
- 测试阶段基于最近邻方式找到测试图片的 embedding feature 在训练集中最匹配的样本，基于该样本的反传梯度作为测试样本的反梯度，作者解释是相同 id 的样本送进网络后激活的卷积核应该比较类似

实验结果

CUB200 中因为有bounding box 和 segmentation 标注，可以采用激活区域位于bounding box 或 segmentation 的比例来判断预测精度，可以看出 gradcam++ 在不加作者提出的trick时也有不错的效果了（gradcam++消除了负梯度的影响）
只使用 top1 的 channel 能取得超过使用所有 channel 的结果，可能是 top1 的 channel 中保存了鸟类的特定信息

Thoughts

对于 embedding 网络的可视化对于理解度量学习等过程还是有一定意义的，这里的激活区域也许也能类似grad-cam++那样作为蒸馏的标签
因为需要离线提处理特征和梯度库，实际使用上会有很多不便的地方，比如难以直接整合到工具链中对客户模型进行可视化

Adapting Grad-CAM for Embedding Networks - 度量学习网络可视化方法（reid、人脸识别）相关推荐

基于双阶段度量学习的跨模态行人再识别
基于双阶段度量学习的跨模态行人再识别摘要: 由于从可见光和热成像摄像头采集而来的图像风格迥异,跨模态行人再识别面临着巨大挑战.目前的深度学习方法,大都利用度量学习来获取区分性特征.然而,现有的度量学 ...
深度学习笔记（42）人脸识别
深度学习笔记(42) 人脸识别 1. 人脸识别 2. One-Shot学习 3. Similarity函数 1. 人脸识别现在可以看到很多产品在运用人脸识别,如手机解锁.车站身份识别认证.刷脸支付等 ...
【安卓学习之第三方库】人脸识别SDK
█ [安卓学习之第三方库] 人脸识别 █ 相关文章: - ● [安卓学习之第三方库]库的使用2-jar类库的使用(以dom4j为例)和升级(以极光推送为例) ● [安卓学习之第三方库] 消息推送之极光 ...
吴恩达Coursera深度学习课程 deeplearning.ai (4-4) 人脸识别和神经风格转换--编程作业
Part 1:Happy House 的人脸识别本周的第一个作业我们将完成一个人脸识别系统. 人脸识别问题可以分为两类: 人脸验证: 输入图片,验证是不是A 1:1 识别举例:人脸解锁手机,人脸刷 ...
一种基于深度学习(卷积神经网络CNN)的人脸识别算法-含Matlab代码
目录一.引言二.算法的基本思想三.算法数学原理 3.1 权值共享 3.2 CNN结构四.基于卷积神经网络的人脸识别算法-Matlab代码五.Matlab源代码获取一.引言在工程应用中经常 ...
学习感悟（局部模式的人脸识别研究）
基于局部模式的人脸识别研究 1.关键算法 2.人脸识别局部研究的创新点 3.感悟 1.关键算法 2.人脸识别局部研究的创新点 3.感悟 1.人脸识别的研究现状及面临的挑战人脸识别的发展过程大概分为三 ...
吴恩达老师深度学习视频课笔记：人脸识别
什么是人脸识别:人脸验证和人脸识别的区别,如下图: One-shot learning:人脸识别所面临的挑战就是需要解决一次学习(one-shot learning)问 ...
基于深度学习的端到端人脸识别技术：全面调研
44页,共计371篇参考文献.本文全面介绍了端到端深度学习人脸识别技术,包括人脸检测,人脸预处理和人脸表征等方向,详细介绍了最新的算法设计,评估指标,数据集,性能比较等. The Elements o ...
满分学习解决摄像头不定时人脸识别的办法
接上一篇内容(解决交通违法满分学习网页视频离开暂停的问题),下面解决人脸识别问题. 满分教育系统在客户端浏览器使用falsh获取摄像头视频,截取图片作为识别数据,因此可以使用虚拟摄像头播放录好的视频作 ...

Adapting Grad-CAM for Embedding Networks - 度量学习网络可视化方法（reid、人脸识别）

Adapting Grad-CAM for Embedding Networks

TL;DR

Introduction

Dataset/Algorithm/Model/Experiment Detail

实现方式

实验结果

Thoughts

Adapting Grad-CAM for Embedding Networks - 度量学习网络可视化方法（reid、人脸识别）相关推荐

最新文章

热门文章