RGB-Infrared Cross-Modality Person Re-Identification

文章目录

RGB-Infrared Cross-Modality Person Re-Identification
Abstract
一、Introduction
二、SYSU-MM01
三、跨模态网络比较
四、结论

Abstract

1、提出了RGB-IR跨模态ReID问题。
2、贡献了名为SYSU-MM01的多模态数据集（包括来自6个摄像机的491个身份的RGB和IR图像，总共提供287,628个RGB图像和15,792张IR图像）。
3、评估了三个常用的神经网络结构：单流、双流和不对称FC层。
4、提出了Deep Zero-Padding（深度零填充）用于训练单流网络。

一、Introduction

行人重识别（ReID）是视频监控的重要领域，在该领域已经提出了许多有效的方法，其中包括特征学习、距离度量学习、端到端学习等方法。但大多数方法都应用于RGB-RGB单模态下，但在光纤不佳（夜晚）情况下，RGB图像变得毫无意义，因此有必要研究涵盖24小时的RGB-IR交叉模态行人重识别任务。

RGB-IR的ReID是一个非常有挑战性的任务。首先RGB和IR在图像构成上差异巨大，RGB图像具有三个通道，包含颜色信息，而IR只有一个通道，其中包含红外信息，因此可以将它们视作异构数据。其次，**从成像原理上看，RGB和IR图像的波长范围是不同的，所以仅仅通过颜色信息无法很好地进行分类和匹配。此外，在单模态下的行人图像也具有姿态、光照、摄像机视角不同带来的类内差异。**尽管有一些使用IR图像的ReID方法，例如Jungling等，但他们仅考虑针对IR的单模态匹配，而没有考虑跨模态任务。

对于跨模态ReID任务，特定于域的网络模型构建和如何提取两模态的共性特征匹配十分重要。大量的实验证明了深度零填充的有效性，经过比较，它优于手工特征提取方法和传统的深度学习网络。

二、SYSU-MM01

（1）SYSU-MM01包含6个摄像机捕获的行人图像，其中2个IR摄像机（cam3，6），4个RGB摄像机（cam1，2，4，5）。
对于每个行人，至少有400个不同姿态和视角的RGB图像和IR图像。cam1，2，3为indoor，cam4，5，6为outdoor。发现IR图像丢失了颜色信息，并且由于单通道缘故，丢失了大量纹理信息。

（2）SYSU-MM01数据集中有491个ID，其中296个ID用于训练，99个用于验证，96个用于测试。在训练过程中，296个ID的所有图像都得到应用。在测试过程中，RGB图像作为gallery，IR图像作为query。

（3）设计了两种模式，All Search和Indoor；对于All Search模式，RGB摄像机下cam1，2，4，5用于gallery，而IR摄像机下cam3，6用于query，对于Indoor模式，cam1，2用于gallery（不包括室外的cam4，5），cam3，6用于query，Indoor挑战性略小。给定query图像，通过计算query图像与gallery图像之间的相似度来进行匹配，请注意，匹配是在不同位置的相机之间进行的，例如cam2和cam3都属于indoor，因此cam3的query将跳过cam2的gallery图像。计算相似度后，我们可以根据相似度的降序获得排名列表。性能评估指标采用CMC和mAP，将上述评估重复10次，最后计算出平均性能。

三、跨模态网络比较

绿色表示共享参数，红色和蓝色代表特定参数。

1、One-stream：只有一个输入，如图中第一个网络所示，所有参数在网络中共享。
2、Two-stream：有两个输入，分别对应RGB和IR图像，在较浅的层中，网络的参数是对应于特定域的，而在更深的层中，使用共享参数。
3、非对称FC层：该设计共享除最后FC层以外的所有参数，假设不同域的特征提取可以采用相同参数，并且在特征级别可以实现域自适应。
4、Deep Zero-Padding：使用单流网络，所有图像变为2通道，其中，RGB图像先转为灰度放置在通道1，然后零填充放置在通道2；对于IR图像，将其放置在通道2，将零填充放置在通道1。

作者对单流和双流网络进行了分析，并将零填充网络应用到单流网络中，通过设定节点参数的方式对节点进行选择性失活，如图所示，绿色节点表示学到了共享特征。

四、结论

分析：通过RGB灰度化的方式可以一定程度上消除颜色信息带来的影响，但是全部灰度化是把双刃剑，零填充实际上并未完全利用到所有信息，叶茫等人的论文认为颜色信息同样对匹配起到好的作用。

最后附上论文链接，需要请自取：https://openaccess.thecvf.com/content_ICCV_2017/papers/Wu_RGB-Infrared_Cross-Modality_Person_ICCV_2017_paper.pdf
代码链接：https://github.com/InnovArul/rgb_IR_personreid

跨模态行人重识别：RGB-Infrared Cross-Modality Person Re-Identification（2017 ICCV）相关推荐

AAAI 2020 | XIV-ReID：基于X模态的跨模态行人重识别
©PaperWeekly 原创 · 作者|张晓涵学校|西安交通大学本科生研究方向|计算机视觉/行人重识别论文标题:Infrared-Visible Cross-Modal Person Re-I ...
今日 Paper | 跨模态行人重识别；对抗时尚迁移；学会注意错误等
2020-03-11 15:11:09 目录跨模态行人重识别:共享与特异特征变换算法cm-SSFT GarmentGAN:具有图片真实感的对抗时尚迁移学习将纹理从服装图像转移到3D人体学会注意错 ...
CVPR2020 | 跨模态行人重识别：共享与特异特征变换算法cm-SSFT
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散编辑:Sophia 计算机视觉联盟报道 | 公众号 CVLianMeng 转载于 :SuperMHP, htt ...
跨模态行人重识别研究综述
跨模态行人重识别研究综述刘天瑜,刘正熙摘要:传统的行人重识别主要工作集中在同一模态下的行人重识别上,大部分应用于光源充足的场景.随着视频安防监控要求的不断提升,为了克服可见光摄像头无法全天候进行使 ...
跨模态行人重识别：Hetero-Center Loss for Cross-Modality Person Re-Identification
Hetero-Center Loss for Cross-Modality Person Re-Identification 目录 Hetero-Center Loss for Cross-Modal ...
可见光-红外的跨模态行人重识别最新研究成果汇总
目录 Introduction Challenges Advantages Methods [2020 AAAI] Cross-Modality Paired-Images Generation fo ...
基于RK3588+TensorFlow的人工智能跨模态行人重识别方法及应用
摘要: 跨模态行人重识别技术(cm-ReID)旨在可见光.红外等不同模态图像中识别出同一个人,其在人机协同.万物互联.跨界融合.万物智能的智能系统与装备中有重要应用.提出一种数据增强的跨模态行人重 ...
跨模态行人重识别：Deep Learning for Person Re-identification:A Survey and Outlook（行人重识别综述）
Deep Learning for Person Re-identification:A Survey and Outlook(行人重识别综述) 写在前面:感谢叶茫博士对AGW的开源,AGW非常适合刚 ...
跨模态行人重识别：Cross-Modality Person Re-Identiﬁcation viaModality-Aware CollaborativeEnsemble Learning学习笔记
基于模态感知的协同集成学习的跨模态行人重识别简介本文针对VT-Reid提出了一种基于中间层共享双流网络(MSTN)的模态感知协同集成(MACE)学习方法,该方法同时处理了特征层和分类器层的模态差 ...

跨模态行人重识别：RGB-Infrared Cross-Modality Person Re-Identification（2017 ICCV）