Hetero-Center Loss for Cross-Modality Person Re-Identification

Abstract

跨模态行人重识别任务可以解决光照不佳环境中RGB单模态行人重识别的局限性。现有的研究主要集中在扩大特征之间的类间差异上，很少有研究调查如何提高类内跨模态特征相似性。

1）提出异质中心损失（HC loss），通过约束类内两个模态的中心距离，以减少类内跨模态变化。

2）提出了一种基于分块的简单高性能网络体系结构，在交叉熵（CE）和异质中心损失（HC）联合监督下，训练该网络以达到扩大类间差异，增强类内跨模态相似性的目的。

1、Introduction

除了HC loss以外，提出了一种双流局部特征网络（Two-Stream Local Feature Network，TSLFN），该框架通过学习局部特征表示以解决问题。框架分为两个独立的分支，以两种方式提取特征，每个分支都包含一个backbone，通过backbone输出特征图。采用传统的平均池化将特征图均匀地进行分块，以进行局部特征的提取。为了将不同模态的特征映射到统一的特征子空间内，对两个分支的全连接层使用共享权重。

2 、Our Approach

2.1、问题描述

传统的损失函数无法监督网络提取模态共享信息。例如CE loss：

交叉熵的目的是提取特定于身份的信息进行分类。但是损失函数不会约束网络有效地提取模态共享信息。因为某些模态特定信息也是引导网络正确预测身份的关键信息，例如：衣服的颜色等，但是在跨模态任务中，颜色信息并不存在于每个模态中，因此交叉熵loss无法完美实现目标。

上图显示了在CE loss监督下的典型特征分布，从图中可以看到CE loss帮助扩大行人类间差异。但是同一类行人内，不同模态下的特征分布存在巨大差距。

2.2、异质中心损失（Hereo-Center Loss）

直观地说，想限制每个类两个模态特征分布之间的距离，但是很难计算，因此取其两个模态特征分布的中心，惩罚中心距离。为此，提出了HC loss：

其中，

代表第i个人两个模态特征分布的中心。U代表行人类别总数。M和N分别表示第i类人中RGB和红外图像的数量。

理想情况下，当在每个epoch内，更新权重时，应该更新整个训练集中每个类中两种模态的中心。但是这需要大量的计算成本。所以，采用mini-batch策略，每次只在一个batch中更新中心。提出了一种改进的小批量采样策略：在每次迭代中，从训练集中随机选择L个身份，随机选择每个选定身份的T张RGB和T张红外图像以形成一个mini-batch，因此batch的大小为2xLxT。多次迭代过程中采用随机采样，故而mini-batch中的约束和全局约束具有同样的效果。

由于HC损失仅提高了类内跨模态相似性，无法学习判别特征以扩大类间差异。所以通过交叉熵和HC损失联合监督。总loss为：

超参数用来平衡两个损失函数的贡献。下图显示了不同权重超参数下的特征分布。

采用随机梯度下降优化方法（SGD）。

2.3、双流局部特征网络

基于RGB单模态行人重识别的一种经典方法，是将行人划分为水平块以提取局部特征，这些局部特征连接起来后代表全局特征。由于身体结构是行人的固有属性，所以可用于学习模态不变特征表示。为此，提出了双流局部特征网络（TSLFN）,结构如下图，该网络包含两部分：特征提取器和特征嵌入。

A、特征提取器
采用双流网络分别提取RGB和红外图像的特定于模态信息。考虑到训练集数据有限，采取预训练的方式，backbone采用ResNet50，不同之处在于：删除了ResNet50中最后一个下采样操作，这样可以增强特征的细粒度表示。然后，将从backbone输出的特征图在水平方向上均匀地划分为p条，每个水平块即表示局部特征向量。之后采用全连接层减少每个局部特征向量的特征维数。为了弥合两个模态之间的特征差异，全连接层共享权重。

B、特征嵌入
特征嵌入的目的是监督网络学习可靠的特征表示，从而达到两个目的：扩大类间差异和提高类内跨模态相似性。对于HC loss，在计算损失之前，特征向量经过L2归一化。对于CE loss，将局部特征向量输入到分类器中，该分类器由FC层和softmax组成，需要使用独立的参数将p个局部特征向量输入到不同的分类器中，然后分类器分别预测每个特征向量的身份。

3 、EXPERIMENTS

在SYSU-MM01上与最新方法的对比实验：

消融实验以验证HC权重超参数取0.5的原因：

作者认为局部特征中模态共享信息不足，因此网络无法拉近两个模态中心，还可能会导致过拟合。

而小批次采样策略中T的选择，也经过消融实验对比。

最后附上论文链接，需要请自取：https://arxiv.org/ftp/arxiv/papers/1910/1910.09830.pdf

跨模态行人重识别：Hetero-Center Loss for Cross-Modality Person Re-Identification相关推荐

跨模态行人重识别：Hetero-Center Loss for Cross-Modality Person Re-Identification学习记录笔记
原文链接:https://www.sciencedirect.com/science/article/pii/S0925231219318156 目录摘要方法 CE loss Hetero-Cen ...
跨模态行人重识别研究综述
跨模态行人重识别研究综述刘天瑜,刘正熙摘要:传统的行人重识别主要工作集中在同一模态下的行人重识别上,大部分应用于光源充足的场景.随着视频安防监控要求的不断提升,为了克服可见光摄像头无法全天候进行使 ...
跨模态行人重识别：Deep Learning for Person Re-identification:A Survey and Outlook（行人重识别综述）
Deep Learning for Person Re-identification:A Survey and Outlook(行人重识别综述) 写在前面:感谢叶茫博士对AGW的开源,AGW非常适合刚 ...
可见光-红外的跨模态行人重识别最新研究成果汇总
目录 Introduction Challenges Advantages Methods [2020 AAAI] Cross-Modality Paired-Images Generation fo ...
今日 Paper | 跨模态行人重识别；对抗时尚迁移；学会注意错误等
2020-03-11 15:11:09 目录跨模态行人重识别:共享与特异特征变换算法cm-SSFT GarmentGAN:具有图片真实感的对抗时尚迁移学习将纹理从服装图像转移到3D人体学会注意错 ...
AAAI 2020 | XIV-ReID：基于X模态的跨模态行人重识别
©PaperWeekly 原创 · 作者|张晓涵学校|西安交通大学本科生研究方向|计算机视觉/行人重识别论文标题:Infrared-Visible Cross-Modal Person Re-I ...
CVPR2020 | 跨模态行人重识别：共享与特异特征变换算法cm-SSFT
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散编辑:Sophia 计算机视觉联盟报道 | 公众号 CVLianMeng 转载于 :SuperMHP, htt ...
跨模态行人重识别：Cross-Modality Person Re-Identiﬁcation viaModality-Aware CollaborativeEnsemble Learning学习笔记
基于模态感知的协同集成学习的跨模态行人重识别简介本文针对VT-Reid提出了一种基于中间层共享双流网络(MSTN)的模态感知协同集成(MACE)学习方法,该方法同时处理了特征层和分类器层的模态差 ...
基于RK3588+TensorFlow的人工智能跨模态行人重识别方法及应用
摘要: 跨模态行人重识别技术(cm-ReID)旨在可见光.红外等不同模态图像中识别出同一个人,其在人机协同.万物互联.跨界融合.万物智能的智能系统与装备中有重要应用.提出一种数据增强的跨模态行人重 ...

跨模态行人重识别：Hetero-Center Loss for Cross-Modality Person Re-Identification