车辆重识别综述（2021年非专业总结）

车辆重识别研究

车辆重识别是指给出一张车辆图片，可以识别出在摄像头下或者其他照片中出现的同一辆车。它可以被分为图像检索的子问题。车辆重识别在现实中可以应用到真实交通系统中，起到对目标车辆的定位，追踪的作用，从而实现诸如打击犯罪等功能。

近年来，随着大型车辆重识别数据集的出现，使用深度学习来提升车辆重识别的准确度也得到了很大的关注。但是在车辆重识别任务中，摄像头的位置不同会产生光照变化、视角变化及分辨率的差异，这导致同一车辆在不同视角下产生类内差异或不同车辆因型号相同形成类间相似，这就使得车辆重识别任务的研究人员面临巨大的挑战。

车辆重识别技术根据实现方式的不同，可将这些方法大致分为基于传感器的方法、基于人工设计特征的方法、基于深度学习的方法三大类，但是随着大规模高质量的数据集的提出以及深度神经网络的兴起，本文主要对目前基于深度学习的车辆再识别方法进行说明。

对于近年来使用深度学习来实现车辆重识别的方法，针对是否涉及跨域我将其分为两类：一类是单域车辆重识别，这类重识别只考虑怎么提升在单个域内重识别的准确性。另一类是跨域车辆重识别，之类则在保证准确率的基础上，探索如何解决一个模型的跨域准确性不高的问题。此外，对于单域车辆重识别中所使用方法的不同，我也做了简单分类，分别是：利用分组思想的方法，针对光照和视角问题的方法，递进式提取特征的方法，提取更富判别信息的子区域的方法。

单域车辆重识别

利用分组思想

2018年之前，最新的研究工作依靠使用三元组损失的深度度量学习来执行车辆 Re-ID的任务。可是，利用三元组损失虽然能够很好的让不同种类的样本划分开，但是对于相似的样本间的距离却没有办法很好的解决，即忽略了类内方法对重识别性能的影响。为了解决这个问题，Bai[1]等人提出了一种深度度量学习方法，对分组敏感的三元组嵌入（GS-TRE）。在其提出的方法中，首先使用在线分组方法把有相同ID的车辆划分为同一组，之后把每个分组的中心作为锚点，对不同的组使用三元组损失函数进行度量学习，从而达到保留三元组损失扩大类间差别的优势上，减少同组或者同一个ID的车辆特征的类内距离的目的。这是我阅读的文献中第一篇利用了分组思想的文章，把同ID的作为一个整体进行处理，一方面加快了损失函数的收敛，另一方面考虑到了类内距离的问题，有值得我们借鉴的地方。

类似的，Liu[9]等人提出的方法中也包含了分组的思想。他们为了解决同一型号车辆外观相似，难以辨别的问题，提出了一个全局-区域特征来应对这一问题，这个特征提取了额外的局部细节特征，来弥补全局特征的识别能力，考虑这么做是因为观察到，相同颜色、制造商和型号的车辆可以通过其区域差异来区分，例如挡风玻璃上的装饰。为了加快GRF的学习速度，提高其识别能力，还提出了一种组损失（GGL）算法来优化车辆图像组内和组间的距离。不同于孪生或三元组损失，GGL是直接计算图像组，而不是个别样本对或三元组。通过避免遍历大量的样本组合，GGL使得模型训练更加容易和有效。

·针对光照和视角问题

由于目前车辆充实别的数据集大多数的视角是固定的，比如前后视角，对于车辆全方位的视角样本是没有的，此外数据集中的大多数光照条件都是白天晴天，对于阴天，雨天，雾天等等其他天气，并没有足够多的样本够我们借鉴。而这些因素又容易导致识别的错误，因此针对光照和视角问题，提出了很多改进的方法。

为了解决上述问题，Khorramshahi[15]等人提出了一种用于车辆重识别的双分支自适应注意力网络（AAVER）。该网络的结构有两个分支，一个分支是全局外观学习网络，用于捕捉车辆的全局外观特征；另一个分支包含车辆关键点检测和车辆视点估计下的局部外观学习网络，通过学习将注意力集中在最具辨识性的关键点，从而捕捉到车辆最具辨识性的区域，最终得到有效的局部特征。通过全局特征和局部特征融合的形式，提高车辆重识别的准确率。

Meng[17]等人提出了一种基于解析的视图感知嵌入网络(parsing-based view-aware embedding network, PVEN)，包括三个模块：车辆局部解析器（Vehicle Part Parser），视图感知特征对齐（View-aware Feature Alignment），普遍可见的视图增强（Common-visible Feature Enhancement）。通过车辆局部解析器，能够得到车辆不同视图（前，后，侧，车顶）的掩膜，这些局部掩膜覆盖了整辆车，能够捕获车辆的每一个细微差异。然后，通过视图感知特征对齐网络解决视图之间不匹配的问题。最后，普遍可见的视图增强采用一种注意力的方式对可见的视图分配更多的权重，得到具有辨别性的局部特征并联合全局特征优化模型。

为了解决训练集视角单一，但现实中车辆通常以任意视角出现在相机中的问题，Zhou[2]等人提出了根据唯一的一个输入视觉角度来推断其他视觉角度的网络CNN-LSTM 双向循环（CLBL），以及空间级联卷积网络（SCNN）。他们提出的方法是首先利用CLBL把输入的图像推断出其他视角的图像，之后利用SCNN提取这些不同视角图像的特征。这属于提取有效特征和增大数据集方法。

为了解决同一车辆在不同视角下外观差别大的问题，Teng[12]等人设计了一个多视图分支网络，其中每个分支在不共享参数的情况下学习特定视点的特征。由于能够专注于有限范围的视点，这种特定于视点的特征的性能明显优于统一网络学习的一般特征。为了进一步区分视觉上相似的车辆，还通过在每个特征学习分支中引入空间注意力模型来增强对它们细微局部差异的辨别力。多视图特征学习和空间注意力学习构成了他们的神经网络架构，并且分别使用 softmax 损失和三元组损失进行端到端训练。

类似的，为了避免由于车辆出现在不同摄像机中时的照明和视点等剧烈变化导致学习判别信息非常困难的问题，提高车辆重新识别的辨别力和鲁棒性，Tumrani[13]等人提出了一个局部注意力和多属性学习网络。针对包含丰富判别信息的局部区域，他们采用基于车辆关键点检测模型的部分特征。此外，由于车辆的颜色和模型在不同视角下相对稳定，还采用分支网络来提取多属性特征，这将提高鲁棒性。

在现实中，重识别的结果受车辆姿势的影响很大，我们称这种影响为姿势障碍问题。解决姿势障碍问题的一种方法是训练一种不受车辆子姿势影响的的特征表示。为此，Sheng[14]等人提出了一种包含两个部分的姿势稳健特征 (PRF)，它由两部分组成，分别是1)姿势不变特征 (PIF) 和 2) 姿势判别特征 (PDF)。一方面，PIF在获取车辆整体特征上比较擅长，在训练 PIF 时，我们使用了身份分类器和方向分类器来判断车辆ID和他的方向。此外，在 PIF 网络中部署了对抗性损失。另一方面，还设计了一个PDF网络，它具有与 PIF 网络相似的架构，但可以区分局部细节之间的差异。PDF 和 PIF 的区别在于训练 PDF 的网络不应用对抗性损失。最后，通过结合PIF和PDF，PRF具有两个特征的优点，可以减轻位姿障碍问题的影响。

·递进式提取特征

上述方法中有很多方法考虑到了要提取全局和局部的特征，并把它们相互结合起来试图提高判别能力，但是只是单纯的提取局部特征没有办法证明提取特征的有效性。为此，一些工作提出了递进式提取特征的方法。

Guo[4]等人提出了一个使用多粒度排序损失的二级注意力网络。两个等级是指组件级注意力和像素级注意力。组件级注意力用于定位突出的车辆部件，例如挡风玻璃和车头。像素级注意力是指在像素级别提供额外的注意力，关注前面组件级定位中的独特特征。通过组件级注意力先定位出突出的车辆部件区域，之后再通过像素级注意力在这些区域内提取更加具有判别性的特征。多粒度排序在本文中分了4个粒度，分别是粗粒度，细粒度，图片对，分类。粗粒度用于区分不同车型，细粒度用于区分不同车，图片对粒度用于拉近同一辆车的距离，分类粒度用于使不同车辆距离增大。通过两个级别特征融合和4种粒度的损失函数优化完成车辆重识别任务。

跟Guo[4]等人先选定大区域，再从区域内容提取特征不同，Zakria[5]等提出了一个分步提取多种特征完成重识别的方法，它首先根据车辆的全局特征列出跟给定车辆相似的车辆，之后再使用车牌的局部特征进行二次筛选从而选出最接近的车辆。这种方法的优越性体现在检测上，不需要全部遍历数据集，只需要检查筛选后的部分图片部分即可。

类似于Zakria等人筛选图片的方法，Lin[6]等提出了一种整合全局和局部特征的方法来提取更加有效的特征。具体来说，首先利用属性学习和深度排序分支（ALDR）来根据全局特征先对疑似图片进行排序，之后利用提出的MCMS-Siam网络来计算给定查询图和候选图之间的区域相似度，根据这个区域的相似度进行车辆的确认。Lin等人跟Zakria不同的点在于不仅仅使用车牌信息，还利用了车辆的富有判别性的区域，如车头，车窗等等。，

·提取更具判断别的子区域特征

由于单单依靠车辆的外观特征是很难，甚至根本不能够准确完成车辆重识别任务，因此提取细粒度的判别性特征是一个值得研究的问题。现有的车辆再识别方法简单地将粗粒度和细粒度属性与多任务训练相结合。然而，这种组合在外观差别不大的车辆上，或者在车型和颜色罕见的车辆上，性能可能仍然有限。为了解决这个问题，Huang[8]等提出了一个简单而有效的框架，称为双域多任务模型（DDM），它将车辆图像按频率划分为两个域。然后提出了两个并行分支来覆盖这两个域。在此基础上，提出了一种将颜色和模型的分类损失与三元组损失相结合的多任务细粒度距离测量方法。

类似的，Wang[10]等人提出了一种基于局部特征的连体匹配模型用于车辆再识别。一个局部特征感知的连体匹配模型关注图像中的信息部分，这些信息部分在不同ID的车辆中最有可能不同。此外，还利用连体特征匹配来更好地检查注意力的准确性，并设计了一个能消除图像变形的透视变换网络PTN来进行特征提取。

为了解决车辆重新识别（Re-ID）任务，需要将注意力集中在图像中任意大小的细节上，但是这些细节很难定位准确。Liu[11]等人提出了一种多注意力深度强化学习（MADRL）模型，专注于随机分布在图像中的多注意力子区域，并为 Re-ID 任务提取判别特征。首先，我代表性特征中获得多个注意力，然后将特征通道分成不同的部分，然后训练深度强化学习模型来学习这些具有不同损失的细粒度细节的更准确位置。跟使用复杂策略以保持补丁匹配约束的现有模型不同，我们的 MADRL 模型可以自动定位具有相同标识 (ID) 的不同车辆图像中的匹配补丁（多个注意子区域）。此外，基于细粒度注意力和全局特征，重新计算类间和类内之间的距离，并获得更好的重新排序结果。

跨域车辆重识别

上述描述的重识别的任务都是在单个域内的方法，主要解决如何提升提取特征的准确性的问题，但是如果想要成功应用在现实生活中，还需要解决一个跨域的问题，即如何使在源域训练好的模型更好的适应另一个数据域。

为了解决这个问题，Peng[7]等人提出了一个双分支对抗网络（DAN）来完成源域和目标域图像的风格迁移，并且保留原本域内的身份标签。此外为了减少图片北京的影响，还提出了一个ATTNet来避免迁移过去后提取特征的时候包含背景等无效信息。

此外，Liu[16]等人提出了联合领域的重识别网络(joint domain re-identification network, JDRN)。我们通过强制卷积神经网络从域共享特征和特定于域的特征中重构来指导CNN学习域不变特征。通过分离不同域共享的信息以及每个域特定的信息，CNN可以解开跨域共享的常识以增强重识别性能，减轻了单个数据集的局限性。

未来工作展望

经过上面两个小节的分析，我们可以观察到，在未来的工作中，我们要避免只使用一种粒度导致的特征判别性不强的问题，尽量使用多种粒度的特征相互结合来提取更加判别力的特征。

此外还可以借鉴递进式提取特征的思想，可以选择筛选图片或者在选定区域内提取特征这样的方法，来提取更有效特征和加快训练或者模型检测速度。

最后，我们观察到在训练模型时，使用分组优化的方法取得了很好的效果，也可以使用分组的思想进行损失函数的优化。

上述都是指在单域内提升模型识别能力的方法借鉴，我们还要认识到，解决好车辆重识别的跨域问题能更加促进该项目在现实中的应用。

参考文献：

Bai Y , Lou Y , F Gao, et al. Group Sensitive Triplet Embedding for Vehicle Re-identification[J]. IEEE Transactions on Multimedia, 2018:1-1.
Zhou Y , Liu L , Shao L . Vehicle Re-Identification by Deep Hidden Multi-View Inference[J]. IEEE Transactions on Image Processing, 2018, PP(7):1-1.
Geng Y , You J , Guo Z , et al. Vision based vehicle re-identification by fusion of multiple features[J]. Electronic Imaging, 2018, 2018(10):467-1-467-7.
Haiyun, Guo, Kuan, et al. Two-Level Attention Network with Multi-Grain Ranking Loss for Vehicle Re-Identification.[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2019.
Zakria, Cai J , Deng J , et al. Efficient and Deep Vehicle Re-Identification Using Multi-Level Feature Extraction[J]. Applied Sciences, 2019, 9(7).
Lin X , Li R , Zheng X , et al. Aggregating Global and Local Visual Representation for Vehicle Re-IDentification[J]. IEEE Transactions on Multimedia, 2020, PP(99):1-1.
Peng J , Wang H , Fu X . Cross Domain Knowledge Learning with Dual-branch Adversarial Network for Vehicle Re-identification[J]. 2019.
Huang Y , Liang B , Xie W , et al. Dual Domain Multi-Task Model for Vehicle Re-Identification[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, PP(99):1-9.
Liu X , Zhang S , Wang X , et al. Group-Group Loss Based Global-Regional Feature Learning for Vehicle Re-Identification[J]. IEEE Transactions on Image Processing, 2019, PP(99):1-1.
Wang H , Sun S , Zhou L , et al. Local Feature-Aware Siamese Matching Model for Vehicle Re-Identification[J]. Applied Sciences, 2020, 10(7):2474.
Liu Y , Shen J , He H . Multi-Attention Deep Reinforcement Learning and Re-ranking for Vehicle Re-Identification[J]. Neurocomputing, 2020, 414(10).
Teng S , Zhang S , Huang Q , et al. Multi-View Spatial Attention Embedding for Vehicle Re-Identification[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020, PP(99):1-1.
St A , Zd A , Hl B , et al. Partial attention and multi-attribute learning for vehicle re-identification[J]. Pattern Recognition Letters, 2020, 138:290-297.
Sheng H, Lv K, Liu Y, et al. Combining Pose Invariant and Discriminative Features for Vehicle Reidentification[J]. IEEE Internet of Things Journal, 2020, 8(5): 3189-3200.
Khorramshahi P, Kumar A, Peri N, et al. A dual-path model with adaptive attention for vehicle re-identification[C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 6132-6141.
Liu C T, Lee M Y, Wu C W, et al. Supervised Joint Domain Learning for Vehicle Re-Identification[C]//CVPR Workshops. 2019: 45-52.
Meng D, Li L, Liu X, et al. Parsing-based View-aware Embedding Network for Vehicle Re-Identification[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 7103-7112.

车辆重识别综述（2021年非专业总结）相关推荐

最新综述：车辆重识别技术
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 [导读]这是一篇新出的车辆ReID中文综述论文,相信对那些想要整体 ...
TPAMI 2021 | 深度学习行人重识别综述与展望
点击上方"CVer",选择加"星标"置顶重磅干货,第一时间送达本文作者:叶茫 https://zhuanlan.zhihu.com/p/342249413 ...
车辆重识别、行人检测数据集、多摄像头数据集
Time:2022 / 8/ 19 Author:QHL-taki content:Dataset Sharing 前言近期博主在做多摄像头行人重识别的任务,查询多方资料,收集到一些重识别相关的 ...
unity随机方向的代码_ECCV 2020 目前用于车辆重识别（vehicle reID）中最大的合成车辆数据集（代码开源）...
论文题目: Simulating Content Consistent Vehicle Datasets with Attribute Descent 论文地址: https://arxiv.org/ ...
TMM｜车辆重识别的一些实践
本文转载自知乎,已获作者授权转载. 链接:https://zhuanlan.zhihu.com/p/186905783 这篇文章是我们在CVPR2020 智慧城市AICity比赛中得到冠军的基础,发 ...
ICCV 2019 | 旷视研究院提出VANet：具备视角感知力的车辆重识别网络
本文介绍旷视研究院提出具备视角感知力的车辆重识别网络 VANet,它可以克服因被拍摄车辆的视角变化过于巨大所造成的性能严重削弱的问题. 论文名称:Vehicle Re-identification w ...
跨模态行人重识别：Deep Learning for Person Re-identification:A Survey and Outlook（行人重识别综述）
Deep Learning for Person Re-identification:A Survey and Outlook(行人重识别综述) 写在前面:感谢叶茫博士对AGW的开源,AGW非常适合刚 ...
mysql TMM_TMM｜车辆重识别的一些实践
本文转载自知乎,已获作者授权转载. 链接:https://zhuanlan.zhihu.com/p/186905783 这篇文章是我们在CVPR2020 智慧城市AICity比赛中得到冠军的基础,发 ...
车辆重识别：Flare-Aware Cross-modal Enhancement Network for Multi-spectral Vehicle Re-identification
源码见专栏置顶- 论文作者:Aihua Zheng,Zhiqi Ma,Zi Wang,Chenglong Li 作者单位:###### 论文链接:http://arxiv.org/abs/2305.1 ...

车辆重识别综述（2021年非专业总结）

车辆重识别综述（2021年非专业总结）相关推荐

最新文章

热门文章