Cross-modality Person re-identiﬁcation with Shared-Speciﬁc Feature Transfer笔记

论文：Cross-modality Person re-identiﬁcation with Shared-Speciﬁc Feature Transfer
来源：CVPR 2020
地址：https://arxiv.org/abs/2002.12489
动机：对于跨模态行人重识别任务，以往都只关注两个模态间的共享特征（share feature），而忽略了每个模态的Specific feature,作者通过利用每个模态的specific feature提高跨模态reid的性能。具体思路为：给定一红外线query，当在gallery中搜索RGB图像时，先找到一些简单的置信度高的RGB样本（这些样本大概率是红外线query的positive样本），把这些彩色样本的颜色特异特征给与红外线query。做了这件事后，红外线query样本可以利用这些彩色信息再去搜索更难的彩色样本。也就是说先找到简单的正样本，再利用这个正样本的specific feature去寻找更难的正样本。这样做与传统做法的对比如下：

解决方法：

上图是文章的整体思路框架图。
1、Two-stream feature extractor
这一步用来提取shared和specific feature，使用双流网络提取shared和specific feature，与以往的主流方法相同，将网络结构分成两个支路，分别提取shared feature和specific feature。绿色块为RGB图像的specific feature,蓝色块为两个模态图像的shared feature,黄色块为红外图像（IR）的specific feature。specific简写为P，shared简写为H。为了确保两种特征都具有辨别力，作者在每一种特征上加上了一个分类损失。此外，对specific feature再加上一个单模态的三元组损失，对share feature再加上一个跨模态的三元组损失。

2、SSTN(shared-speciﬁc transfer network)
为了统一特征表示，首先将每一类特征填充为三段格式[RGB-speciﬁc; shared; Infrared-
speciﬁc]

由于RGB图像没有红外图像的specific feature，其对应部分就用0填充；红外图像没有RGB图像的specific feature，对应部分也用0填充。以此统一特征的格式。组合成为整体特征Z。

在使用GCN的方法，将补0位置的特征与邻近位置特征进行融合，融合之后得到的传播特征就包含了两个模态的shared feature和specific feature。

3、Complementary Learning for shared and specific feature

这一步主要是对shared feature和specific feature做解纠缠，即避免两个特征学为一个特征。让specific feature保持其special，减少信息重合。作者在这里设计了一个模态鉴别器和三个全连接层将每一个模态的shared feature进行分类，生成器生成特征去迷惑鉴别器，在生成器和鉴别器的对抗学习中使得shared feature不在包含任何模态相关的信息，其实也就是一个GAN网络结构。对specific feature使用鉴别器寻找包含shared feature的信息，同时使用一个生成器去帮助鉴别器提高其鉴别能力，最后使得specific feature里和shared feature重合的特征信息全部被找到。

实验结果：

在这里可以参考作者的知乎：https://zhuanlan.zhihu.com/p/109383385

Cross-modality Person re-identiﬁcation with Shared-Speciﬁc Feature Transfer笔记相关推荐

跨模态行人重识别cm-SSFT：Cross-modality Person re-identiﬁcation with Shared-Speciﬁc Feature Transfer 学习笔记
目录摘要方法试验论文链接:Cross-modality Person re-identiﬁcation with Shared-Speciﬁc Feature Transfer 摘要在本文中 ...
Machine Learning Approach to RF Transmitter Identiﬁcation
第一遍包括以下步骤: 仔细阅读标题,摘要和介绍. 只阅读节和子节的标题,忽略其他内容. 阅读结论. 浏览一下参考文献,在心里勾出你已经读过的. 在第一遍的阅读之后,你应该能够回答下面五个问题: 类别 ...
【Paper】2020_Anomaly Detection and Identiﬁcation for Multiagent Systems Subjected to Physical Faults
Y. Li, H. Fang and J. Chen, "Anomaly Detection and Identification for Multiagent Systems Subjec ...
Devign: Effective Vulnerability Identiﬁcation byLearning Comprehensive Program Semantics viaGraph
摘要:漏洞识别对于保护软件系统免受网络安全攻击至关重要.在源代码之间本地化易受攻击的功能以促进修复尤为重要.但是,这是一个具有挑战性且乏味的过程,并且还需要专门的安全专业知识.受来自各种代码表示图的手 ...
囚徒困境困境_所以你现在看到了社会困境
囚徒困境困境 So you watched The Social Dilemma. 所以你看了社会困境. For the unaware, it's a new documentary/drama o ...
论文阅读：Automatic Detection and Classication of Teeth in CT Data
[论文信息] MICCAI 2012 会议论文文章实现了中全自动的牙齿检测和分类,对象为CBCT/MSCT,实验数据集是43套临床头部CT图像. 主要是两个步骤: 1. 分割上颌骨: 2. 分成16 ...
Improving person re-identiﬁcation by attribute and identity learning[reading notes]
----------------------------- 博文发表于夏木青 | JoselynZhao,欢迎访问博文原文. 这里是论文PDF链接. ------------------------- ...
人脸识别相关资源大列表
之前逛爱可可老师微博看到的一个人脸识别资源,还是比较全面的,跟大家分享一下. github链接:https://github.com/ChanChiChoi/awesome-Face_Recognit ...
Image Processing and Computer Vision_Review：Local Invariant Feature Detectors: A Survey——2007.11...
翻译局部不变特征探测器:一项调查摘要 -在本次调查中,我们概述了不变兴趣点探测器,它们如何随着时间的推移而发展,它们如何工作,以及它们各自的优点和缺点.我们首先定义理想局部特征检测器的属性.接下来 ...

Cross-modality Person re-identiﬁcation with Shared-Speciﬁc Feature Transfer笔记

Cross-modality Person re-identiﬁcation with Shared-Speciﬁc Feature Transfer笔记相关推荐

最新文章

热门文章