Pose-Guided Feature Alignment for Occluded Person Re-Identification阅读笔记

Paper：https://dblp.uni-trier.de/pers/hd/l/Liu:Ping

Code：http://link.zhihu.com/?target=https%3A//github.com/lightas/ICCV19_Pose_Guided_Occluded_Person_ReID

摘要：行人经常被各种各样的障碍所阻挡。对于以前的ReID方法，大都是要么忽略此问题，要么基于极端假设来解决它。为了缓解遮挡问题，我们通过检测遮挡区域，并在特征生成和匹配过程中去除遮挡区域。在此论文中，提出了Pose-Guided Feature Alignment (PGFA，姿态引导特征对齐)的新方法，利用姿态将有用信息从遮挡中分离出来。在提取特征阶段，我们的方法是利用人体关键点坐标来生成注意力图。生成的注意力图指示了特定的身体部位是否遮挡，并引导我们的模型关注没有遮挡的区域。在匹配过程中，我们将全局特征图划分为多个部分，并使用姿态信息来表示那些局部特征属于目标行人。只有可见的区域会被用于计算相似度距离。此外，我们还建立了一个大规模的数据集来缓解ReID的遮挡问题，Occluded-DukeMTMC是目前最大的行人遮挡数据集。通过在遮挡和无遮挡的数据集上进行实验，我们方法均取得了相当优异的结果。

知识点解析：

Partial Re-ID和Occluded Re-ID问题：前者的query为遮挡图像而gallery均是完整行人图像且不存在遮挡。后者为query为遮挡图像而gallery既存在部分遮挡图像又存在完整图像。

Occluded-DukeMTMC数据集：论文提出了一个目前最大的遮挡数据集。其中训练集为702个人共15618张图像，query为519个人2210张图像，gallery为1110个人17661张图像。这是目前最为复杂的遮挡ReID数据集，其中存在视角和多张障碍物，如汽车、自行车、树木和其他人。

Methodology：论文提出的方法FPGA共包含两个分支--Pose-Guided Global Feature Branch和Partial Feature Branch。论文以resnet-50为backbone，其中去除了GAP和分类层，并将res_conv4_1的stride降为1，来扩大最终提取特征图的分辨率，正常通过backbone得到特征图为（C, H/32, W/32），现在为（C, H/16, W/16），在较大的特征图上，目标行人的信息和遮挡信息在广阔的空间维度上更容易分离。然后，将backbone提取的特征图同时输入到两个分支中。a）Partial Feature Branch：此分支完全类似PCB（均是Yi Yang老师的组）。即将特征图硬性划分为水平6块，进行GAP池化降维为256的特征向量进行分类，使用交叉熵损失进行监督。Pose-Guided Global Feature Branch：此分支的输入除共享特征图外，还采用姿态估计器从行人图像中检测人体的关键点（N=18）坐标和置信度。根据设定的阈值来筛选各个区域是否存在遮挡，得到mask特征图，进而和共享特征图相乘，得到消除遮挡区域的特征图（18*h*w和2048*h*w-->18*2048），利用GMP得到2048维的特征向量。另外在共享特征图上进行GAP得到2048维的特征向量，将以上两个特征向量进行concat再降维（4096-->256）得到256维的特征向量进行分类，使用交叉熵损失进行监督。以上即为算法流程。具体参照下图：

Representation Matching：论文的query和gallery的相似度距离计算和其他的有很大不同。论文在进行相似度计算时，分别计算

Pose-Guided Global Feature分支提取的特征的相似度距离和仅包括未遮挡对应区域的Partial Feature分支的相似度距离，然后进行规范化，即两者之和除以（未遮挡的水平块个数+1）。具体公式和可视化如下图所示：

实验结果：论文在遮挡数据集进行验证结果均优于对比的算法而且提高挺多，但是在无遮挡数据集上低于PCB，猜测姿态预测器的原因。结果如下：

周郎有话说：论文缓解遮挡的方法，还是挺容易理解。利用姿态预测器得到未遮挡区域的mask掩码，最终得到去除遮挡区域的特征图，此过程也可以理解为注意力机制，对未遮挡区域增大更多的关注。现在觉得业界对行人重识别研究逐渐向特征难点转移。

Pose-Guided Feature Alignment for Occluded Person Re-Identification阅读笔记相关推荐

Density Map Guided Object Detection in Aerial Images （论文阅读笔记）
Density Map Guided Object Detection in Aerial Images 论文阅读笔记出处:CVPR2020 一.介绍文章主要研究的是基于高分辨率航拍图像的目标检测 ...
Robust Pose Estimation in Crowded Scenes with Direct Pose-Level Inference 阅读笔记
基于直接姿态级推理的拥挤场景鲁棒姿态估计 NeurIPS 2021 论文链接代码链接摘要:拥挤场景下的多人姿态估计具有挑战性,因为重叠和遮挡使得难以检测人体边界框并从单个关键点推断姿态线索(关键点 ...
Learning salient boundary feature for anchor-free temporal action localization AFSD阅读笔记及代码复现
论文地址:Lin_Learning_Salient_Boundary_Feature_for_Anchor-free_Temporal_Action_Localization_CVPR_2021_pa ...
Every Pixel Matters: Center-aware Feature Alignment for Domain Adaptive Object Detector
参考Every Pixel Matters: Center-aware Feature Alignment for Domain Adaptive - 云+社区 - 腾讯云摘要域适配目标检测旨在将 ...
遥感图像-Deep Feature Alignment Neural Networks for Domain Adaptation of Hyperspectral Data高光谱数据深度特征对齐神经
Deep Feature Alignment Neural Networks for Domain Adaptation of Hyperspectral Data高光谱数据领域自适应的深度特征对齐神 ...
【论文阅读】Prior Guided Feature Enrichment Network for Few-Shot Segmentation
Prior Guided Feature Enrichment Network for Few-Shot Segmentation Abstract Introduction Related Work ...
读书笔记22：Optical Flow Guided Feature: A Fast and Robust Motion Representation for Video Action Recogni
文章题目:Optical Flow Guided Feature: A Fast and Robust Motion Representation for Video Action Recogniti ...
Simple Baselines for Human Pose Estimation 阅读笔记
SimpleBaseline姿态估计阅读笔记 ECCV2018 论文链接代码链接摘要: 近年来,姿态估计在取得重大进展的同时,总体算法和系统复杂性也日益增加,加剧了算法分析和比较的难度,本项工作提 ...
FSAF:Feature Selective Anchor-Free Module for Single-Shot Object Detection笔记
论文地址: https://arxiv.org/abs/1903.00621. 作者在B站解读视频:https://www.bilibili.com/video/av49972561/. 注:本文在查 ...

Pose-Guided Feature Alignment for Occluded Person Re-Identification阅读笔记

Pose-Guided Feature Alignment for Occluded Person Re-Identification阅读笔记相关推荐

最新文章

热门文章