Introduction
- Challenges
- Advantages
Methods
- [2020 AAAI] Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification
- [2020 arxiv] Cross-Spectrum Dual-Subspace Pairing for RGB-infrared Cross-Modality Person Re-Identification
- [2020 CVPR] Hi-CMD Hierarchical Cross-Modality Disentanglement for Visible-Infrared Person Re-Identification
- [2020 arxiv] RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model
- [2020 IJCAI] A Similarity Inference Metric for RGB-Infrared Cross-Modality Person Re-identification
Datasets
- SYSU-MM01
- RegDB

Introduction

ReID最近主要研究可视摄像机模块，即给定一个人的查询图像/视频，并从其他摄像机捕获的图像/视频中搜索出来。

然而，在光照较差的环境下(如夜间)，可视摄像机无法捕捉到有效的外观信息，这限制了其在实际监控应用中的适用性。
因此提出了RGB-IR跨模态行人重识别。

Challenges

这面临着两个挑战：

不同的相机视角和人体姿势导致的巨大的模态内的差异
不同摄像头光谱导致的不同模态之间的差异 (区别与普通的Re-ID)

跨模态（ RGB-Thermal ）行人重识别这项任务目前大多研究的做法等同于跨模态检索匹配，它所面临的挑战主要来源于不同结构数据间差异较大的问题。RGB 图像三通道的信息和 Thermal 图像的单通道信息本身的信息容量和表示形式有所不同，不同的清晰度和光照条件在两类图像上所能产生的效果可能会大相径庭。比如施加相同的光照条件在这两类图像上，很可能对于 RGB 图像来说会增加清晰度，而对于 Thermal 图像来说可能就会因为亮度过高以至于图像模糊不清。

Advantages

红外重识别的优势也是显而易见的

弱光or黑暗条件下，普通re-id效果很差
大多数监控摄像头可支持红外图像和彩色图片
再者，红外图像不受可见光的影响

传统的 RGB-RGB 行人重识别只能解决光线充足下的识别任务，而在夜间或者是光线较暗处，可见光摄像机几乎已无用武之地。犯罪分子或者是一些有所企图的人们通常爱好在夜间行动，这时候仅仅靠可见光摄像机去捕捉图像显然是不能解决问题的。如今的摄像机大多都将红外和可见光功能配在了一起，其中红外摄像机在白天或者黑夜都能够获取行人的红外图像信息，这为跨模态行人重识别的研究提供了有利的条件。与传统的行人重识别任务有所不同，跨模态行人重识别专注于匹配跨模态下的图像，它可以利用行人的 RGB（Thermal）图像去搜索跨设备下该行人的 Thermal（RGB）图像。

Methods

对于跨模态行人重识别问题，其根本目的是解决两种模态之间的gap，大致解决思路为以下两种：

使用参数共享的卷积神经网络，学习两种模态之间的共享特征，其中包含是否考虑模态特定特征
使用GAN，通过训练生成器和判别器去学习模态之间的关联，其中包含使用真实IR图像来生成假的RGB图像，以及通过真实RGB图像来生成假的IR图像

下面是近两年五篇关于红外行人重识别的模型方案

[2020 AAAI] Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification

paper: https://arxiv.org/pdf/2002.04114.pdf.
code: https://github.com/wangguanan/JSIA-ReID.

这篇文章发表于AAAI 2020，是用GAN解决ReID问题的一个新的思路。
RGB图像和IR图像之间的较大模态差异，使得RGB-IR行人重识别很有挑战性。解决这个问题的关键是学习RGB和IR两种模态间的对齐特征。然而由于在每对RGB和IR图像间缺乏对应的标签，目前大部分方法都会尝试利用set-level(集合级别)的对齐来减小模态之间的差异。然而，建立起整个set间的对齐，可能会造成个例间的不对齐，从而限制RGB-IR ReID的性能。

论文所述方法通过区别开modality-specific和modality-invariant特征（在这里，模态不变特征包括姿势、性别、服装类别、携带的东西等内容信息。模态特定特征有服装/鞋的颜色、质地等风格信息。）来实现set-level的对齐。与传统方法相比，这直接去除模态特定特征的方式，可有效降低模态间的差异。
考虑到个例的跨模态不配对图像，本文方法利用交换的图像来生成跨模态配对图像。利用生成图像，通过最小化每对配对图像的距离，来实现instance-level(实例级别)的对齐。

既然是为了提高相似性，有一个非常简单明了的想法：用 RGB 图像生成对应的红外图像，同时红外图像也生成对应的 RGB 图像。这样我们提取 RGB（红外）图像特征的时候，可以直接将其转换成红外（RGB）图像，随后整体的框架就变成单模态下红外（RGB）的行人重识别。两个模态的数据统一成了一个模态下的数据，给人的感觉就已经很相似了。

本文框架就是这样的基本思路，其中包括一个跨模态配对图像生成模块G和一个特征对齐模块F。

生成模块G包括三个编码器和两个生成器，首先将图像分解成特定模态和不变模态特征，然后解码所交换的特征。比如RGB decoder是IR特定特征和RGB不变特征的图像生成器，也就是利用IR图像的风格和RGB图像的内容来生成图片
F首先使用模态不变编码器进行set-level对齐，然后通过最小化每对图像的距离进一步缩小进行instance-level对齐。最后，通过训练这两个模块，我们可以同时在set-level和instance-level对齐图像特征

在SYSU-MM01数据集上，这个模型在Rank-1和mAP上分别获得了9.2%和7.7%的增益
在RegDB数据集上，在Rank-1和mAP上分别获得5.1%和5.2%的增益
这两种模式都采用了单镜头和多镜头的设置，随机选取一人的1张或10张图片组成gallery set。单镜头是一个镜头下的图片组成gallery set，多镜头是多个镜头下的图片联合组成gallery set

[2020 arxiv] Cross-Spectrum Dual-Subspace Pairing for RGB-infrared Cross-Modality Person Re-Identification

paper: https://arxiv.org/pdf/2003.00213.pdf.

这篇文章的动机是，RGB-IR Re-ID区别于传统Re-ID的挑战是不同光谱相机产生的模态差异以及人内部(来自同一个人的图像)的差异往往大于人内部(来自不同人的图像)的差异。

比较常用的RGB Re-ID模型和本文模型，a,p,n分别代表anchor，正样本和负样本，在Market-1501上都能正确区分，因为图像都来自同一模态。但在SYSU-MM01数据集上，由于模态差异，普通Re-ID模型更有可能会嵌入anchor和positive的距离大于anchor和negtive的距离，但本文提出的模型可以嵌入正确的特征映射。

这篇文章主要集中在提取两种模态的共享特征
并提出了一种双子空间配对策略
此外，在训练过程中，还提出了一种动态难光谱挖掘方法，根据当前模型状态自动从难光谱中挖掘更多的难样本，进一步提高了性能

第一步，跨光谱图像生成

模态差异是由光谱差异引起的，RGB摄像机捕获RGB光谱中行人特征，而红外摄像机则捕获红外光谱中行人特征。从一种模态到另一种模态，某些信息不可逆地丢失且无法恢复。比如左图红外图像中缺少RGB图像中的颜色信息和T恤上的条纹图案。基于此观察，我们将注意力集中在提取所有模态的共享特征，即跨模态共享特征。

为了实现此目标，我们可以将RGB图像和红外图像直接馈入到单流网络中，无论输入图像是哪种形式存在，都可以让网络学会自动提取统一的特征。但是没有明确的约束，网络性能不佳。

因此，作者提出了一种新颖的能生成多光谱图像的跨光谱图像生成方法。给定RGB图像，从相应的颜色通道中提取像素分别生成红色光谱，绿色光谱和蓝色光谱图像。此外，我们将原始RGB图像的灰度图像添加进来，以进一步增加模态数量。对于RGB原始图像输入C，我们将生成具有红色光谱R，绿色光谱G，蓝色光谱B和相应灰度图像X, 其中f是跨光谱图像生成函数。

右图显示了一些示例，可以观察到，在不同光谱中生成的四种图像显示出各种各样的外观，并且类似于红外摄像机捕获的外观，作者认为引入这些不同模态的图像参与训练会提升网络的辨别力。

第二步，双子空间配对策略

Dual-subspace Pairing Strategy会为RGB图像随机的从R,G,B,X中选一个光谱图像来配对，为IR图像来配对。有三种方法

深度零填充方法将RGB图像转换为灰度图像，然后为灰度图像和红外图像添加零通道，从而作为两通道输入。对于零填充的灰度通道和红外通道，某些节点将不断输出零，这意味着他们是特定于域的。因此，灰度子网络和红外子网络可以分别处理每个模态，并且共享节点可以为这两种模态提取共享特征。但是，这种做法浪费了零通道的计算成本，并且没有显式的约束来挖掘跨模态的共享特征。
我们还可以简单地将三通道输入作为RGB图像，并扩展红外图像的通道数。这样，节点需要学习从RGB图像和红外图像中提取特征。
使用跨光谱图像生成方法。当使用 Cross-spectrum Image Generation生成了配对的光谱图像之后，利用这些生成的光谱图像进行通道拓展（即1个通道复制为3个通道），以此一起输入给网络。与传统原始图像输入相比，第1层中节点的每个权重都需要处理所有的红色，绿色，蓝色，灰色和红外通道信息。迫使网络发现所有光谱中存在的具有区分性的跨光谱特征。

（单流网络采用ResNet50作为Backbone，损失函数为交叉熵和三元组。）

第三步，动态难光谱挖掘

在跨光谱图像生成过程中，每个光谱均被平等对待，并且灰色，蓝色，红色，绿色具有相同的选择概率，这并不是最佳选择。在训练过程中，模型学习从每个光谱中提取跨光谱的区分性特征。某些光谱可以快速学习，而其他难光谱则难以学习。很难手动确定哪个光谱容易学习或难以学习，并且难度级别可能因模型结构或参数设置的不同而有所区别。因此，本文提出了一种动态难光谱挖掘（DHSM）策略，以自动评估不同光谱的难度级别，并为较难的光谱分配更大的采样概率。

给定训练中第i个输入的跨光谱生成的图像，当前预测的分类概率为pi，S（pi）是该样本的光谱，在本文中可能是R,G,B,X。一个训练epoch内，特定光谱的置信度可以为式5，其中Nt为最后一个训练epoch中生成的图像总数。那么，在第t个epoch内每个光谱的采样概率计算为式6

如果模型预测特定光谱生成图像具有高置信度Rq，那么新的采样概率就小，意味着下一个epoch该光谱生成图像变少。

这样，模型一旦学会了处理特定的光谱，采样概率就会降低，并且后续从该光谱中获得训练数据也会更少。

总的流程如图。这篇文章设计了一种one-stream卷积神经网络。首先对于所有输入的原始图像，应用跨光谱图像生成方法来创建耦合的双子空间。但是生成的图像仅具有一个通道，而RGB图像具有三个颜色通道，因此使用通道拓展策略，通过复制将单通道扩展为三通道。

在通道扩展之后，图像被输入到CNN主干中进行特征提取。两种模式的最终统一特征是通过在CNN骨干输出上应用全局平均池获得的。使用分类损失和三元组损失对训练过程进行监督。引入Dropout可以防止过拟合，提高鲁棒性。在训练过程中，为了进一步提高性能，提出了一种动态硬谱挖掘策略。

DHSM是动态难光谱挖掘（Dynamic Hard Spectrum Mining）
CDP是结合了跨光谱图像生成方法（Cross-spectrum Image Generation）和双子空间配对策略（Dual-subspace Pairing Strategy）的总方法

在SYSU-MM01数据集上，Rank-1达到了38.0%，在mAP上达到38.4%
在RegDB数据集上，Rank-1达到65.3，mAP达到62.1%

[2020 CVPR] Hi-CMD Hierarchical Cross-Modality Disentanglement for Visible-Infrared Person Re-Identification

paper: https://arxiv.org/pdf/1912.01230.pdf.
code: https://github.com/bismex/HiCMD.

相较于传统的行人重识别，VI-ReID遭受了由不同类型成像系统造成的额外的跨模态差异。
为了减少模内和模间的差异，本文提出了一种分层跨模态解调(Hi-CMD)方法，有效的将ID-discriminative特征和ID- excluded特征分离出来，进而进行分别学习，目的是排除姿态、光照这些冗余特征（ID-excluded）的影响，提取出更加有判别力的体态、衣着等信息（ID-discriminative）

ID-discriminative（包含ID特征）：性别、穿着（编码器EP），浅层信息，输出张量
ID- excluded（不含ID特征）:姿态、光照（编码器Ea），深层信息，输出向量（当人体ID信息不变时，姿势和光照属性是相对可变的）

该方法包含了两个核心模块：ID-PIG 网络和 HFL 模块。ID-preserving Person Image Generation（ID-PIG）网络，在保证行人ID不变的条件下，改变它的姿态、光照属性。Hierarchical Feature learning（HFL）模块用于确保编码器能够提取具有判别力的特征，对姿态、光照变化具有鲁棒性。

ID-PIG 网络采用二阶层次化。
a）第一层次采用原型编码器和属性编码器，原型编码器对图像中行人的体态等外貌特征进行编码，属性编码器对衣服风格、姿态、光照这类可变属性进行编码。
b）第二层次属性编码划分成三类，ai=[ais;aic;aip] 具体为：风格属性编码、光照属性编码、姿态属性编码。这三种编码分别表示：风格属性是对行人的衣服结构进行编码；光照属性编码对应模态之间的差异，把不同RGB、IR摄像头的视觉差异定义为光照属性；姿态属性对应模态内的差异，理解为同一个模态内行人的多种姿态。
c）使用原型特征和二阶层次化后的细化特征来生成跨模态图像，并用fake图像的冗余特征与对应模态的冗余特征做loss处理，不断优化GAN。
HFL模块：将原型特征和风格属性特征编码加权级联得到判别向量，再传入全连接层，得到最终的特征向量，筛掉了图片的冗余特征。

结果如图

[2020 arxiv] RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model

paper: https://arxiv.org/pdf/2007.07452.pdf.

传统的使用GAN网络的方法生成假的红外图像或者可见光图像来减小模态间的差异，但是训练和测试中都要使用GAN，既不高效，也耗费了巨大的资源。

本文提出了一种新的Teacher-Student GAN model (TS-GAN)方法来解决模态差异问题，与其他基于GAN的模型不同，此模型在测试阶段只需要骨干模块，使其更加高效和节省资源。
同样，为了更好地适应不同域的特征，提高模型的ReID性能，这里使用了3种师生损失函数。

TS-GAN通过预训练一个教师模型来指导学生模型提取可鉴别特征。首先，用真实的RGB图像通过GAN生成假的红外图像，然后将假的红外图像和真的红外图像作为教师模型的输入来产生一个特征映射，这个映射指导backbone中的学生模型也生成一个特征映射，在经过高级嵌入层提取高级语义信息即可得到鉴别特征。

本文结构如图3所示，包含假红外图像生成模块、backbone和教师模型三部分。

假红外图像生成模块通过GAN将RGB图像转换为IR图像，（为什么不用IR生成RGB，其实这个实验前人做过，效果并不好，所以这里用RGB生成IR图像）为了增强生成图像的效果，这里采用CycleGAN的思想，由生成的假IR图像再生成RGB图像，与真实RGB图像对比，这样保证生成的假红外图像与RGB图像具有一致性。但是IR生成RGB只是用于辅助训练GAN，后续并没有用到
backbone设计成两个编码器——former encoder（FES）和latter encoder（LES），FES的输入为真红外图像、假红外图像和真可见光图像，输出得到一个特征图，然后传入LES得到行人的识别特征，再经过全局平均池化和全连接层得到一维特征向量。使用ID loss和triplet loss和生成对抗loss进行约束
教师模型是预训练好多复杂模型，指导学生模型生成特征映射；backbone提取跨模态的可鉴别特征。由于与不同模态相关的图像特征对于编码器来说是复杂的，这里构建了一个IR ReID教师模块来指导FES和 LES之间的中间层特征的解缠过程。这里我们使用IR图像作为教师模块的输入，而不是RGB人图像，因为生成的IR图像比生成的RGB图像质量高得多。虽然IR图像缺少颜色信息，但是当查询和图库图像都在红外模式下时，老师仍然能够得到非常高的精度(R1 98%)。这意味着红外图像有足够的个人身份信息来进行分类。ReID教师模块仅由前编码器(FET)组成，用于在训练过程中从真实红外图像和假红外图像中提取特征。

其中，把教师模型FET输出的真IR和假IR的特征向量和backbone的FES输出的真RGB，真IR，假IR的特征向量做MSE loss用于均方误差回归，来指导学生模块的特征提取。backbone生成真实 RGB的特征映射和教师模型输出的假IR的特征映射进一步做跨膜太的MSE loss，鼓励RGB输入的中间层特征映射与IR输入的中间层特征映射接近，可以看作假IR图像是真实RGB和真实IR图像的中间模态，从而减小RGB模态和IR模态之间的模态差异。

总结一下，这篇文章虽然是一篇Arxiv，但是用一种很巧妙的方式，解决了目前GAN在跨模态Re-ID种IR生成RGB图像效果差的问题，，从文章看本文是one-stage，3个模块相互指导，backbone生成real IR的特征向量指导GAN的判别器部分，GAN将生成的fake IR作为backbone和教师模型的输入，教师模型提取的fake IR和real IR的信息反过来又指导backbone的特征提取模块，同时间接指导了GAN网络。教师-学生指导模块本身的作用我认为就是将GAN部分与backbone融为一体，两个模块不是孤立的类似two-stage的存在。

本文最后在测试时加入了重新排序re-rank的方法：
（重新排序的关键思想是，根据probe搜索出来的候选集，根据这些候选对象选择k个nearest，如果包含你的probe，那么这个候选对象是True Match的可能性更大一些）

表1为和其他GAN方法在SYSU-MM01数据集上比较的结果，并对是否加入re-rank进行分别讨论。
在SYSU-MM01数据集上的Rank1达到了58.3%，mAP达到了55.1%。

[2020 IJCAI] A Similarity Inference Metric for RGB-Infrared Cross-Modality Person Re-identification

paper: https://arxiv.org/pdf/2007.01504.pdf.

现有的方法是跨模态对齐特征分布或图像样式，而同一模态图库样本之间非常有用的相似性(即模态内样本相似性)在很大程度上被忽略了。

本文提出了一种新的相似性推理度量方法(SIM)，利用模内样本相似性来规避跨模态差异，以实现最优跨模态图像匹配。
该方法通过连续相似图推理和相互近邻推理，从两个不同的角度利用模内样本相似度来挖掘跨模态样本相似度。

(a) 提出的相似推理度量(SIM)的流程图：SIM由两种类型的推理组成，包括相似图推理和相互最近邻推理。首先对query和gallery提取共享特征，并分别对query-gallery跨模态以及gallery-gallery模态内求相似度矩阵。通过相似图推理模块，来更新query-gallery的相似度矩阵。

相似图推理的原理如图（b）：其中每种颜色(绿色或橙色)表示相同ID的样本。query首先在gallery中检索出相似度最高的某一图像k，再将此图像k在gallery中相似度高的候选集合列出来。简单来说就是A=B，B=C,D,E，那么A=B,C,D,E

通过相似图推理后更新的query-gallery相似度矩阵用于（c）相互近邻推理。以query查询的候选集中存在图像p，如若也存在在某一gallery k同模态下的相似度排名较前的对象，那么这个图像p很有可能是一个true-match，类似于re-rank
A=B,C,D,E ，B=C,F,G ,那么更新A=B,C

结果如图所示

Datasets

SYSU-MM01

download: http://pan.baidu.com/s/1gfIlcmZ.

SYSU-MM01包含RGB和 近红外图像，由于波长较短，此数据集中的近红外图像具有清晰的边缘和清晰的背景。

其中包含来自6个摄像头采集下的 491 个ID图片，其中 4 个是RGB彩色摄像头，2 个是红外摄像头，但并不是每个ID都在 6 个摄像头下出现。一共有 287,628 张RGB图片和 15,792 张IR图片。

cam1 和 cam2，放置于两个明亮的室内房间（房间1和房间2）捕获RGB图像，对于每个人，有 400+ 连续RGB帧。
cam3 和 cam6 的红外图像是由红外摄像机在黑暗中捕捉的。
cam3 放置在黑暗环境下的2号房间，而 cam6 放置在背景杂乱的室外通道。
cam4 和 cam5 是RGB监控摄像头，分别安装在“门”和“花园”两个室外场景中。

RegDB

download: https://pan.baidu.com/s/1X12WiDoPFo8sY7dVwdNu9A.
code: qt4m

RegDB包含RGB和 远红外图像，远红外图像边缘模糊，丢失了许多颜色信息。

包含 412 个id，而人们在没有任何指示的情况下自然移动。
对于每个id，有 10 张可见光图像和相应的 10 张热图像。
因此，此数据集包含 4120 张可见光图像和 4120 张对应的 412 个不同类别的热图像。

因为图像是在人移动的时候拍摄的，所以10张图像中每个人的身体姿势、拍摄距离、光照条件都存在差异。
但是，同一个人的10张图像中，天气状况、相机视角、拍摄视角(前/后)都是相同的。

强大的RGB-红外方法需要能够同时处理远近红外图像的两种情况。

可见光-红外的跨模态行人重识别最新研究成果汇总相关推荐

跨模态行人重识别研究综述
跨模态行人重识别研究综述刘天瑜,刘正熙摘要:传统的行人重识别主要工作集中在同一模态下的行人重识别上,大部分应用于光源充足的场景.随着视频安防监控要求的不断提升,为了克服可见光摄像头无法全天候进行使 ...
AAAI 2020 | XIV-ReID：基于X模态的跨模态行人重识别
©PaperWeekly 原创 · 作者|张晓涵学校|西安交通大学本科生研究方向|计算机视觉/行人重识别论文标题:Infrared-Visible Cross-Modal Person Re-I ...
跨模态行人重识别：Deep Learning for Person Re-identification:A Survey and Outlook（行人重识别综述）
Deep Learning for Person Re-identification:A Survey and Outlook(行人重识别综述) 写在前面:感谢叶茫博士对AGW的开源,AGW非常适合刚 ...
基于RK3588+TensorFlow的人工智能跨模态行人重识别方法及应用
摘要: 跨模态行人重识别技术(cm-ReID)旨在可见光.红外等不同模态图像中识别出同一个人,其在人机协同.万物互联.跨界融合.万物智能的智能系统与装备中有重要应用.提出一种数据增强的跨模态行人重 ...
跨模态行人重识别：Cross-Modality Person Re-Identiﬁcation viaModality-Aware CollaborativeEnsemble Learning学习笔记
基于模态感知的协同集成学习的跨模态行人重识别简介本文针对VT-Reid提出了一种基于中间层共享双流网络(MSTN)的模态感知协同集成(MACE)学习方法,该方法同时处理了特征层和分类器层的模态差 ...
今日 Paper | 跨模态行人重识别；对抗时尚迁移；学会注意错误等
2020-03-11 15:11:09 目录跨模态行人重识别:共享与特异特征变换算法cm-SSFT GarmentGAN:具有图片真实感的对抗时尚迁移学习将纹理从服装图像转移到3D人体学会注意错 ...
CVPR2020 | 跨模态行人重识别：共享与特异特征变换算法cm-SSFT
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散编辑:Sophia 计算机视觉联盟报道 | 公众号 CVLianMeng 转载于 :SuperMHP, htt ...
跨模态行人重识别：Hetero-Center Loss for Cross-Modality Person Re-Identification
Hetero-Center Loss for Cross-Modality Person Re-Identification 目录 Hetero-Center Loss for Cross-Modal ...
跨模态行人重识别：RGB-Infrared Cross-Modality Person Re-Identification（2017 ICCV）
RGB-Infrared Cross-Modality Person Re-Identification 文章目录 RGB-Infrared Cross-Modality Person Re-Iden ...

可见光-红外的跨模态行人重识别最新研究成果汇总

目录