TCSVT2021：一种结合全局和局部细粒度特征的行人再识别方法

本文首发于极市平台

论文地址：
https://www.researchgate.net/publication/347764290_Feature_Refinement_and_Filter_Network_for_Person_Re-identification

1、摘要：

目前的深度模型往往注重于提取具有较强分辨力的特征，而忽略了其他有价值的特征。此外，提取的细粒度特征可能存在冗余，而且缺乏一种有效的消除背景干扰的方案。研究者提出特征加强和过滤网络并取得比较好的效果。

2、主要内容：

（1）通过弱化高响应区域的特征值，模型可以挖掘出图像中更有价值的区域，既保证了训练过程的稳定性，又学习到了行人的完整特征；
（2）在得到完整特征的基础上，进一步定位人的高响应特征，消除了背景信息的干扰，提高了特征的泛化能力；
（3）为了获取行人的局部细粒度特征，研究者设计了具有多样性损失的多分支注意网络，在去除背景干扰的特征上进行自适应筛选获取行人的局部细粒度特征。

3、问题的提出

行人往往具有相似的形状，再加上姿态、视角、光照、遮挡和复杂背景干扰等原因，行人再识别任务比普通的图片分类任务更加的困难。现有方法往往只关注图像中最具区分性的区域，而不是关注人的所有特征;重要的是，被忽视的部分往往也具价值。此外，研究发现深度学习模型识别图像时，有时会将注意力集中在与图像识别性能无关的图像背景上，这也在一定程度影响了模型的性能。
目前的研究侧重于局部细节特征的提取，将图片特征在垂直方向分割成均匀的N份，提取更加深层次的特征具有很好的效果。然而，如图1所示，一些局部特征不一定是有用的特征，即使是有用的特征，其重要性也是不同的。对人的识别没有影响的特征的联合提取和处理，无疑会影响模型的性能。与固定大小分区的局部特征提取相比，如何过滤区分区域和提取细节特征更有意义。

图1. 并不是人的照片中的所有特征都有利于行人的再识别。(a)遮挡，(b)复杂背景，©显著特征。人的不同特征对人的再识别有不同的贡献。©中红色框架的特征的重要性明显大于其他特征。

4、Feature Refinement and Filter Network方法流程

研究者主要从三个方面解决行人再识别问题。首先，通过弱化高响应区特征，模型可以关注更有用的特征，实现完整的行人特征的提取，增强模型的鲁棒性; 其次，在得到完整特征的基础上，进一步定位人的高响应特征，消除了背景信息的干扰，提高了特征的泛化能力;最后，通过多分支注意网络选择有价值的细粒度特征用于人的再识别，从而提高模型的性能。如图2所示，方法主要包括全局特征增强网络、多注意力网络和注意力多样性损失。

图2. Feature refinement and filter network方法框架 **4.1、弱化显著性特征**

研究者基于 Resnet 模块设计了弱化特征卷积模块, 如图 3 所示。一张图片经过卷积模块得到特征图其中H,W,C分别表示特征图的高，宽和通道数。通过一个类型通道注意力将特征图的通道降为得到特征图的通道降为1，得到特征图
操作过程如下:

式中, 表示按位相乘,up_ sample 表示上采样操作。研究者通过减弱特征图 A 中高响应的区域，迫使网络关注到除高响应对应区域外的其他区域的特征，让模型能够很好的关注到输入图片中所有有用的特征，从而实现消除背景噪声等其他无用特征的干扰。具体地，设定一个间值β,特征图 A 中的值超过这个间值的就算高响应区域。然后，引人一个弱化因子并规定弱化特征算子 M 如下:

最后，将卷积模块的输入I与弱化特征算子M按位相乘得到经过弱化的输入，这样原本高响应的区域便被减弱，其他区域得到加强使模型能够更多的关注除高响应区域以外的区域，达到挖掘输入图片中全部有用特征的目的。

图3. 弱化特征卷积模块

4.2、弱化因子

在上一节中，研究者提出弱化因子，是一个影响模型性能的关键参数。在文中研究者提出了一个弱化因子的取值方案。

图4. 不同的弱化因子和阈值对高响应区域的影响，(a)不同弱化因子对应的特征弱化效果；(b) 不同的阈值对应的高响应特征。
弱化因子θ表示特征的弱化程度。从图 5(a)可以看出, 当θ=0时，显著特征完全减弱, 特征喊弱程度最大。当 θ=1 时，相当于不对特征进行操作，弱化程度最小。当 θ 在区间(0,1) 取一个值时，会有不同程度的弱化。从图 5 (b) 可以明显看出，高响应区域的大小随间值的变化而变化。当高响应区域较大，弱化因子 θ 较小时，在这种情况下，高响应特征将被完全覆盖，并且不会有任何有用的特征可用于模型识别。相反，当高响应区域很小，并且被完全覆盖时，这将迫使模型将重点放在其他有价值区域进行人识别，这更有利于获得全面的行人特征。因此，弱化因子应与高响应特征的大小是负相关的关系。因此研究者将弱化因子定义为θ=1-δ 其中δ为高响应区域在整个特征图 A 中所占比例。

4.3、特征加强

通过上述操作获取具有价值的完整的行人特征区域，截取完整的有价值的特征去除背景噪声，如图5所示。将图5(a)输入网络获取完整的高响应区域如图5(b)中虚线框内的部分，并截取得到新的行人图像5©。

图5. 消除无价值特征增强有用特征

4.4、特征筛选

研究者通过一个多分支注意力网络如图3的后半部分所示，获取更有价值的特征。通过图6所示的网络获取N个注意力图，然后用N个注意力图构建N个注意力分支获取更有价值的特征，这里便起到特征筛选的作用。

图6. 注意力生成器

4.5、注意力多样性

为了保证注意力分支能够关注到不同的有价值的特征区域，研究者设计了一个保证注意力多样性的损失。本质是通过限制注意之间的距离来避免注意区域的重叠。具体来说，计算每个注意特征图的最大响应的位置作为每个注意的中心，使我们的任务成为不允许不同注意中心重叠的约束。在计算损失之前，首先对各个分支的注意力图作高斯分布，保证每个注意力图只有一个注意力中心。然后通过下式计算多样性损失：

5、损失函数

结合图3，研究者使用平滑交叉熵损失，困难样本三元组损失和注意力多样性损失共同组建模型的损失函数进行训练。

6、试验结果

研究者在Market-1501，DukeMTMC-reID，CUHK03-NP and MSMT17数据集进行了试验，并将试验结果与主流的方法进行了比较。试验表明，在四个数据集集上，所提的方法有明显的提升，具有较高的价值。

7、结论

研究者提出了一种结合全局和局部细粒度特征的特征选择网络来实现对人的再识别。该模型通过弱化显著特征来挖掘更有价值的特征，并在消除干扰信息后获得多样化的细粒度特征。通过实验，验证了特征细化和滤波网络在主流的人再识别数据集上的最新性能。

作者：宁欣，龚克，李卫军，张丽萍，百晓，田生伟

单位：中科院半导体所、北京航空航天大学、新疆大学、威富视界认知计算技术联合实验室

文章信息：X. Ning, K. Gong, W. Li, L. Zhang, X. Bai and S. Tian, “Feature Refinement and Filter Network for Person Re-identification,” in IEEE Transactions on Circuits and Systems for Video Technology, doi: 10.1109/TCSVT.2020.3043026.

TCSVT2021：一种结合全局和局部细粒度特征的行人再识别方法相关推荐

CVPR 2019 | 旷视研究院提出Re-ID新方法VPM，优化局部成像下行人再识别
全球计算机视觉三大顶级会议之一 CVPR 2019 将于当地时间 6 月 16-20 日在美国洛杉矶举办.届时,旷视研究院将带领团队远赴盛会,助力计算机视觉技术的交流与落地.在此之前,旷视每周会介绍一 ...
属性与意图识别_一种基于多任务学习的意图与槽位联合识别方法与流程
本发明属于人机交互领域,涉及自然语言处理.垂直对话系统等,特别涉及一种基于多任务学习的意图与槽位联合识别方法. 背景技术: 意图识别和槽位识别可以将垂直对话系统中用户输入文本转化为语义表示,为系统采取 ...
浅析一种基于Android、iOS平台的移动端银行卡识别方法，简化移动支付中卡号绑定过程
近些年来,我国经济飞速发展,科技实力日益突飞猛进.手机移动端的使用给人们的生活带来了许多便利.日常生活中,移动端支付的方式越来越流行.手机端进行支付往往需要绑定银行卡.目前,在众多需要录入银行卡信息才 ...
一种基于Android、iOS系统的移动端车牌识别方法，实现手机拍照识别车牌
随着移动行业的爆发式发展,手机配置不断提高,基于手机平台的信息采集.图像处理.数据传输等方面的研究也成为了热点,这使得基于手机平台上的车牌识别成为可能.传统的车牌识别系统一般都基于固定的桌面平台.图像 ...
一种基于Android、iOS平台的移动端车牌识别方法，能够在复杂背景下迅速识别多种车牌
随着智慧城市愿景的推广,以及车辆管理需求的迅猛扩增,对于各类车辆识别系统有了新的要求.而以往的固定式特定设备的车牌识别系统已经不能够满足灵活的智能交通系统需求,例如路边停车管理和交管违章登记等.本文简 ...
android 银行卡绑定银行卡,一种基于Android、iOS系统的移动端银行卡识别方法，让银行卡绑定这一行为变得更轻松...
迅猛发展的移动互联网产业,类似手机支付宝的移动商业应用琳琅满目,网络购物.理财.商旅应用.打车软件等的兴起,让用户的习惯开始慢慢倾斜,移动支付的场景也愈加丰富起来,给人们带来了丰富多彩且方便快捷的数字 ...
一种基于信令数据的业务推销类骚扰电话识别方法
[摘要]为治理网络不良信息,研究了业务推销类骚扰电话的识别方法.通过采集分析通话信令数据,统计异常通话特征,并运用加权综合评分方法,创新实现了业务推销类细分场景下的骚扰电话识别,与现有诈骗电话.高 ...
一种基于深度学习的遥感图像分类及农田识别方法
文章针对现有的神经网络收敛速度慢.识别准确率不高的缺点,提出了一种基于卷积神经网络的遥感图像农田分类及识别方法.该算法使用较大的卷积核,有效地提取梯度信息:设计深度为6层的卷积神经网络,提高了网络的分 ...
java如何做全局缓存_传智播客JNI第七讲 – JNI中的全局引用/局部引用/弱全局引用、缓存jfieldID和jmethodID的两种方式...
讲解JNI中的全局引用/局部引用/弱全局引用.缓存jfieldID和jmethodID的两种方式,并编写两种缓存方式的示例代码. 1.从Java虚拟机创建的对象传到本地C/C++代码时会产生引用,根据 ...

TCSVT2021：一种结合全局和局部细粒度特征的行人再识别方法

TCSVT2021：一种结合全局和局部细粒度特征的行人再识别方法相关推荐

最新文章

热门文章