2019 TIP之ReID：Learning Modality-Specific Representations for Visible-Infrared Person Re-Identificati

Learning Modality-Specific Representations for Visible-Infrared Person Re-Identification
当前的问题及概述：
由于不同的视觉特征，在异构模式下匹配行人非常具有挑战性。
模型及loss：
2.1Overview：

图中可以看到，本文1）为每个域建立一个特定于模态的网络和一个特定于模态的loss函数，以便在特征提取过程中嵌入与模态相关的信息。2)通过欧几里得约束将交叉模态嵌入到模态特异性网络中，以对齐来自异质模态的特征。3)利用模态共享层来开发共享知识，提高深度表示的模态不变性。4)对每个网络工作都实现了一个判别度量，以学习模态内部判别特征。5)我们通过学习一个视图分类器来集成视图信息。总loss为：

2.2Modality-Specific Identity Loss
图1中共红色部分为specific layers，单独使用不同的权值来捕捉不同的特征，并为每种模式学习一个单独的网络，modality-specific softmax loss：其中，xVn和xIn表示第n个RGB和IR属于yV n类和yI n类的特征：

2.3Cross-Modality Euclidean Constraint
图1中的黄色部分，虽然特定于模态的网络可以从模态信息中获益，但是来自不同模态的同一行人的特征是不同的，没有考虑跨模态约束，因此，本文在不同的模态网络之间实现了交叉模态欧几里德约束(CMEC)，提出的度量通过最小化来自异质模态的同一行人特征之间的距离（即跨模态类内距离）来缩小跨模态边界，如下图：

图中，(a)不同模态的特征存在于不同的子空间中;(b)以尽量减少跨方式类内差异为目标的最佳化过程;©输出结果。Loss为，其中，KVi和KIi表示不同模态的第i个身份，xVip 和 xIiq为两个模态同一个身份i的不同特征q和p：

2.4Modality-Shared Identity Loss
图1中的紫色部分，即Modality-Shared，loss选用softmax loss。
2.5Modality-Specific Discriminant Metric：
图1中每个分支的最后一部分，本文对可见光和红外分支都使用了度量学习来进一步增强该方法的识别能力。模式特异性鉴别度量(MSDM)通过最小化类内变化和扩大同一模态内特征的类间变化，提高了模式特异性表征的模内鉴别能力。Loss：

其中，δij = 1 为同一行人的特征，δij = -1为不同行人的特征，更深一步讲：

其中θ1为类内距离的平均数，θ2为类间距离的平均数。
2.6View Classifie
通过构造一个视图分类器来学习与视图相关的信息，对不同视角（view）的图像进行分别分类，但这部分从效果来看作用不大，其loss选用softmax loss：

2.7Transfer Knowledge From Visible Domain
把特定模态训练好的模型迁移到本文直接用。
实验：
数据集:RegDB and SYSU-MM01
消融实验：

和其他框架进行比较：

2019 TIP之ReID：Learning Modality-Specific Representations for Visible-Infrared Person Re-Identificati相关推荐

2019 IET之ReID：HPILN: a feature learning framework for cross-modality person re-identification
HPILN: a feature learning framework for cross-modality person re-identification 当前的问题及概述: 提出了一种新的特征学 ...
[CVPR2016]Learning Deep Feature Representations with Domain Guided Dropout for Person Re-id
论文题目:Learning Deep Feature Representations with Domain Guided Dropout for Person Re-identiﬁcation 还是 ...
阅读笔记 MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis
文章目录 1.前言 2.模型结构 2.1 Modality Representation Learning 2.1.1 Utterance-level Representations 2.1.2 Mo ...
Learning Generalisable Omni-Scale Representations for Person Re-Identification
Learning Generalisable Omni-Scale Representations for Person Re-Identification Abstract Introduction ...
翻译-A Simple Framework for Contrastive Learning of Visual Representations
推荐文章 A Simple Framework for Contrastive Learning of Visual Representations 摘要这篇文章提出了SimCLR, 一种简单的.用 ...
lxmert:learning cross-modality encoder representations from transformers
LXMERT: Learning Cross-Modality Encoder Representations from Transformers 论文笔记_小有名气的可爱鬼的博客-CSDN博客视觉 ...
A Simple Framework for Contrastive Learning of Visual Representations
A Simple Framework for Contrastive Learning of Visual Representations Abstract 本文提出了一个简单的视觉表征对比学习框架- ...
Machine learning of neural representations of suicide and emotion concepts identifies suicidal youth
Machine learning of neural representations of suicide and emotion concepts identifies suicidal youth ...
员外陪你读论文：DeepWalk: Online learning of Social Representations
本次要分享的是 14 年论文 DeepWalk: Online learning of Social Representations, 论文链接DeepWalk[1],参考的代码CODE[2],本论文 ...

2019 TIP之ReID：Learning Modality-Specific Representations for Visible-Infrared Person Re-Identificati

2019 TIP之ReID：Learning Modality-Specific Representations for Visible-Infrared Person Re-Identificati相关推荐

最新文章

热门文章