文章目录

Deep Gait Recognition: A Survey
- - Abstract
- INTRODUCTION
- REVIEW METHODOLOGY
- TEST PROTOCOLS AND DATASETS
- - Protocols
  - Datasets
- 参考文献

Deep Gait Recognition: A Survey

Abstract

步态识别是一种极具吸引力的生物特征识别方法，旨在根据人走路的方式来识别人。自2015年以来，深度学习通过自动学习辨别性特征的能力重塑了该领域的研究格局。基于深度学习的步态识别方法目前在该领域占据主导地位，并且促进了实际应用。本文全面概述了深度学习步态识别的突破和最新发展，涵盖了广泛的主题，包括数据集、测试协议、最先进的解决方案、挑战和未来的研究方向。首先概述了常用的步态数据集以及用于评估它们的原则。然后，本文提出了一种由四个独立维度组成的新分类法，即身体表征、时间表征、特征表征和神经架构，以帮助描述和组织该领域的研究现状和文献。在提出的分类法之后，本文对使用深度学习的步态识别方法进行了全面的综述，并讨论了它们的性能、特点、优点和局限性。最后，本文讨论了当前的挑战，并提出了步态识别未来研究的一些有希望的方向。

INTRODUCTION

\quad \quad步态，被定义为人们走路的方式，包含了关于人类受试者的相关线索。因此，它已被广泛应用于不同的应用领域，如影响分析、体育科学、健康和用户识别。步态信息可以通过一些传感方式来捕获，例如附着在人体上的可穿戴传感器，例如加速计、陀螺仪以及力和压力传感器。非穿戴式步态识别系统主要使用视觉，因此通常称为基于视觉的步态识别。这些系统使用成像传感器捕捉步态数据，而不需要受试者的合作，甚至可以从很远的距离采集。本文的重点是综述主要依赖深度学习的基于视觉的步态识别系统。本文只关注基于视觉的步态识别，因为最近发表了一篇综合性综述文章，对基于穿戴的步态识别方法进行了调查。

\quad \quad基于视觉的步态识别系统（以下仅称为步态识别）的性能可能会受到i）个人外观变化的影响，例如携带手提包/背包或穿着诸如帽子或外套等衣物；ii）摄像机视角的变化；iii）遮挡因素，例如，在某些视角（也称为自遮挡）中，受试者身体的一部分被物体部分覆盖，或者被受试者自身身体的一部分覆盖；iv）环境的变化，例如复杂背景和高或低水平照明，这通常使分割和识别过程更加困难。

\quad \quad在过去的二十年中，许多步态识别方法被开发用来解决上述问题。近年来，步态识别从非深度方法向基于深度学习的解决方案过渡的趋势十分明显。为了可视化这一趋势，作者画了图1，图1显示了2015年后发表的步态识别论文的数量。据观察，2019年和2020年的大多数步态识别方法都是基于深度神经网络设计的。在图2中，本文展示了一些最重要的步态识别方法的演变，以及它们在CASIA-B（也许是最流行的步态识别数据集）上的相关准确性。第一个步态识别方法于1997年提出，随后于2008年提出了第一个用于步态识别的浅层神经网络，它仅由一个输入层、一个隐藏层和一个输出层组成。2015年，该领域取得了重大突破，主要得益于深度神经网络的普及。2016年，基于6层卷积神经网络（CNN），提出了名为GaitNet的方法。2017年，提出了基于深度信念网络（DBN）的DBNGait，并在CNNGait中融合了三种不同深度的CNN架构，用于步态识别。VGR-Net是2018年的重要贡献之一，随后在2019年引入了几种重要方法，包括PoseGait、DisentangledGait和GaitSet，其中GaitSet达到了84.2%的最佳识别准确率。2020年取得了显著进步，特别是出现了几种高效方法，包括PartialRNN、GaitPart、GLN、HMRGait和3DCNNGait。目前在CASIA-B数据集上最先进的结果是由3DCNNGait报告的，识别准确率为90.4%。

\quad \quad到目前为止，几篇调查论文10、11、12、13、14、36、37、38综述了步态识别的最新进展，其中一些论文，例如13、37、38，侧重于非基于视觉的步态识别方法。关于基于视觉的步态识别的最新调查论文有10、11、12、14、36，仅涵盖2018年年中之前发表的论文。尽管如此，如图1和图2所示，自2019年以来，深度学习在步态识别方面取得了许多重大突破。此外，没有一项调查[10]、[11]、[12]、[14]、[36]专门关注步态识别的深度学习方法。

\quad \quad本文调查了截至2021年1月底的步态识别的最新进展，以系统的方式对深度步态识别方法的技术和性能方面提供了见解。在此背景下，我们首先提出了一种具有四个维度的新分类法，即身体表征、时间表征、特征表征和神经结构，以帮助描述和组织可用的方法。根据本文提出的分类法，对所有可用的深度步态识别方法进行了全面的综述，并对其特征和性能进行了讨论。作者已经建立了特定的搜索协议，以确保其他学者能够自信地在未来的研究中使用该综述。

本文主要贡献总结如下：

提出了一种新的四维分类法来描述和组织现有的深度步态识别方法。
对深度步态识别方法的演变进行了分类指导的概述，其中大部分方法在以前的调查中没有被概述。
使用大规模公共步态数据集上报告的现有结果，对最新技术进行了比较，深入了解了不同深度步态识别方法的有效性。
概述了15个公开的基于视觉的步态识别数据集及其相关的测试协议
讨论了一些公开的挑战，并确定了重要的未来研究方向，这将对步态识别的研究人员有帮助。

\quad \quad综述的其余部分结构如下。首先描述了用于搜索收集论文和文献中收集论文的系统方法。接下来，在第3节中，将概述可用的步态数据集及其相关的测试协议。然后，在概述深度步态识别方法时，使用这些数据集和协议来报告现有的性能结果。第4节介绍了本文提出的分类法。接下来，第5节综述了深步态识别的最新进展，并讨论了近几年来深步态识别的发展趋势。最后，第6节讨论了一些深层步态识别挑战，并确定了一些未来的研究领域。（概述了论文剩余部分的结构）

REVIEW METHODOLOGY

\quad \quad作者采用了特定的搜索协议，以确保其他学者能够自信地在未来的研究中使用该综述。为此，首先通过Google Scholar搜索引擎和数字图书馆，即IEEE Xplore、ACM Digital Library、ScienceDirect和CVF Open Access查找候选论文。搜索词包括以下查询的组合：“步态识别”、“步态识别”、“步态生物识别”、“神经结构”、“深度学习”和“深度表征”。然后，审查并过滤了搜索结果，从而排除了既没有使用深度学习方法进行步态识别，也没有展示足够技术清晰度/深度的论文。为了更具体地说明“清晰度/深度”标准，排除了i）使用非视觉传感器进行步态识别的论文；ii）没有提出新的解决方案；iii）使用非标准或私有数据集进行绩效评估；iv）没有将其解决方案的性能与最新技术进行比较。在其他模式与基于视觉的传感器相结合的情况下，只研究了侧重于基于视觉方面的技术解决方案。（这段在说作者如何查询和筛选论文）

\quad \quad本文对出版物的日期进行了限制，只包括2014年之后的搜索结果，当时深度神经网络首次被用于生物识别。然后，作者利用返回的结果进行前向和后向搜索，分别确定引用过返回文章的其他资源以及返回文章所引用的参考文献。对新确定的资源重复这一过程，直到我们收集到作者所知的最相关的论文。最终得到了一组使用深度学习进行步态识别的出版物。

（以上从两个方面收集论文，一个是搜索引擎和数字图书馆中检索，另一个是从收集到的文献中进一步检索文献，进而收集论文）

TEST PROTOCOLS AND DATASETS

Protocols

\quad \quad步态识别解决方案的评估协议通常可分为受试者相关和受试者无关。如图3所示，在受试者相关协议中，训练集和测试集都包括来自所有受试者的样本。然而，在受试者无关协议中，测试受试者与训练受试者是不相交的。在后一种协议下，测试数据被进一步分为注册集和验证集，然后用在不相交的训练对象上学习到的模型来提取注册集和验证集的特征。最后，使用分类器将验证特征与注册特征进行比较，以识别最相似的步态模式，并将它们标记为来自相同的人。在步态识别中，受试者相关和受试者无关协议被广泛采用。例如，在TUM GAID数据集中，经常使用受试者相关协议，而在CASIA-B和OU-MVLP大规模数据集中，则使用受试者无关协议。文献中的步态识别结果都是使用rank-1识别精度进行测量和表示的。

Datasets

\quad \quad为了评估步态识别系统，收集了不同的数据集。这些数据集包括了与采集视角、环境条件和受试者外观相关的各种参数。一般来说，大数据集，无论是在样本和参数的数量和分布上，都是人们所希望的，也是首选的，以使深度神经网络得到有效训练。本文在表1中概述了著名步态数据集的主要特征。这些特征包括数据的类型和模式、受试者和序列的数量、视角的数量，以及每个数据集中包含的变化。为了显示这些数据集的时间演变，本文按照表1中发布日期的顺序对这些数据集进行了排序。根据表1，CASIA-B、CASIA-E、OU-ISIR MV和OU-MVLP涵盖了最多的采集视角，而OU-ISIR、OU-ISIR LP Bag和OU-MVLP包含了最多的步态序列。在下文中，作者概述了表1中提供的步态数据集以及相关的测试协议。

\quad \quadCMU MoBo: The CMU Motion of Body (MoBo)数据集是文献中第一个步态数据集，由25名在跑步机上行走的不同受试者的RGB和轮廓数据组成。此数据集涵盖三个子集，包括慢速行走、快速行走和持球行走。

\quad \quadSOTON: SOTON数据集包含115名受试者的步态数据。所有的序列在室内和室外都被记录下来，用一个固定的摄像机，捕捉沿着一条笔直的路径行走的受试者。在跑步机上行走时，从受试者身上获取了室内步态数据。不同的论文将该数据集划分为不同的训练集和测试集，并且没有预定义的测试协议可与该数据集一起使用。

\quad \quadCASIA-A: CASIA-A数据集，包括20名受试者在室外环境中的步态序列。受试者沿着一条直线行走，三个摄像头位于0。0^。0。, 45◦45^◦45◦, 和90◦90^◦90◦。拍摄的步态视频，平均每个序列90帧。跨视角测试协议是该数据集最广泛使用的协议，其中测试协议使用所有可用视角进行训练，不包括用于测试的视角。

\quad \quadUSF HumanID: USF HumanID数据集是在HumanID步态挑战的背景下收集的，包括122名在椭圆路径上行走的受试者的户外步态视频。该数据集涵盖了各种具有挑战性的变化，包括携带公文包、在不同表面行走、穿着不同的鞋以及采集时间。数据是由左、右两个摄像头从两个观察角度采集的。评估研究已与数据集一起提供，该数据集考虑了与上述变化相关的 12 种不同测试协议。

\quad \quadCASIA-B: CASIA-B数据集是使用最广泛的步态数据集，包含124人的RGB和轮廓形式的多视角步态数据。从11个不同的视角进行采集，范围从0。0^。0。到180。180^。180。，增量为18。18^。18。。该数据集考虑了三种不同的行走条件，即正常行走（NM）、穿外套行走（CL）和携包行走（BG），每个人每个视角分别有6、2和2个步态序列。 CASIA-B最常用的测试协议是受试者无关协议，该协议使用前74名受试者的数据进行训练，其余50名受试者进行测试。然后将测试数据拆分为一个注册集，其中包括NM步态数据中的前四个步态序列，验证集由其余序列组成，即每个受试者每个视角的剩余2个NM、2个CL和2个BG序列。结果主要针对所有视角报告，不包括角度与参考相同的probe序列。

\quad \quadCASIA-C: CASIA-C 数据集包括来自 153 个不同受试者的红外和轮廓数据，并且序列是在夜间不同变化下捕获的。这些变化包括三种不同的步行速度，即慢走 (SW)、正常步行 (NW) 和快速步行 (FW)，以及携包行走 (BW)。每个受试者有 4 个 NW、2 个 SW、2 个 FW 和 2 个 BW 序列。测试协议考虑了跨速步态识别测试。

\quad \quadOU-ISIR Speed： OU-ISIR Speed数据集提供34名受试者的轮廓数据。该数据集适用于评估步态识别方法对步行速度的鲁棒性，因为它包括九种不同的速度，从2 km/h到11 km/h不等，间隔为1 km/h。该数据集采用了跨速度测试。

\quad \quadOU-ISIR Clothing： OU-ISIR Clothing数据集包括68名受试者的数据，他们穿着多达32种不同类型的服装组合。在同一天的两次室内采集过程中收集步态序列。与数据集OU-ISIR一起提供了一个受试者无关的测试协议，该协议将数据划分为预定义的训练、测试和验证集，特别是与服装条件有关的数据集。

\quad \quadOU-ISIR MV: OU-ISIR MV数据集包含168名受试者的步态轮廓，受试者年龄范围很广，从4岁至75岁，男女受试者人数几乎相等。数据是从大范围的视角变化中获取的，包括24个方位角视图和1个俯视图。跨视图测试协议已被广泛用于该数据集。

\quad \quadOU-ISIR: OU-ISIR：OU-ISIR数据集是一个大规模的步态数据集，由4007个性别分布几乎相等、年龄从1岁到94岁不等的受试者的步态数据组成。步态序列是在室内大厅的两个不同采集过程中使用四个以 55。55^。55。、65。65^。65。、75。75^。75。和 85。85^。85。放置的摄像机捕获的。由于每个受试者有两个序列可用，测试协议使用第一个序列作为注册样本，另一个作为验证样本。

\quad \quadTUM GAID: TUM GAID是一个多模态步态数据集，包括305名受试者的RGB、深度和音频数据。对于一组选定的32名受试者，数据集是在冬季和夏季的两次不同的户外采集过程中采集。从每个受试者身上捕获了10个序列，包括正常行走（N）、背包行走（B）和一次性鞋套行走（S）。测试协议由原始作者提供，将数据分为训练、验证（validation）和测试集。识别实验通常针对N、B和S步态变化进行。

\quad \quadOU-ISIR LP Bag： OU-ISIR LP Bag数据集由62528名受试者携带物体的步态视频组成，在受限的室内环境中使用一台摄像机拍摄。每个受试者获得了三个序列，一个带有携带物体，两个没有携带物体。按照提出的测试方案，训练集包含来自29097名受试者的数据，其中有两个序列，带或不带携带物体，测试集包括其他29102的受试者。为了将测试集划分为验证集和注册集，分别在协作和非协作场景下采用了两种方法。对于协作场景，注册集仅包含不携带物体的序列，其中验证集包括带七种不同类型携带物体的序列。在非协作场景中，随机形成注册和验证集，以便它们都包含带或不带携带物体的序列。

\quad \quadOU-MVLP： OU-MVLP 数据集是就步态序列数量而言最大的可用步态数据集 (259,013)。该数据集提供轮廓的视频，并在每个受试者的两个采集过程中获得。受试者的性别分布几乎相等，年龄范围为 2 至 87 岁。该数据集是从 0° 到 90° 和 180° 到 270° 的 14 个不同视角中获取的，其中每一步的角度变化为 15°。已指定 5153 和 5154 名受试者的预定义列表，并与数据集一起分别作为训练集和测试集提供。为了测试，来自第一和第二采集过程的序列分别形成注册集和验证集。在最近的大多数步态识别论文中，都考虑了所有或四个视角，特别是 0°、30°、60° 和 90°。

\quad \quadCASIA-E: CASIA-E数据集由1014名受试者的步态轮廓组成，每个受试者有数百个视频序列，在三种场景中捕获，分别为简单静态背景、复杂静态背景和复杂动态背景。这些数据是根据三种不同的行走条件采集的，包括正常行走（NM）、带外套行走（CL）和带包行走（BG）。该数据集是从 15 个不同的视角获得的，包括两个高度为 1.2 m 和 3.5 m 的垂直视角，以及 13 个从 0° 到 180° 以 15° 为增量的水平视角。该数据集最近用于 2020 年 TC4 远程人类识别竞赛和研讨会，其中训练集包括前500名受试者的全部数据，而最后514名受试者的25个序列用于验证（validation）。最后514名受试者的剩余序列用于测试。

\quad \quadOU-MVLP Pose： OU-MVLP Pose数据集建立在OU-MVLP的基础上，从OUMVLP中可用的RGB图像中提取人体骨骼形式的姿势序列。使用OpenPose和AlphaPose的预训练版本创建了两个子集，以提取人体关节信息。测试协议类似于为OU-MVLP提出的协议。

参考文献

[10] C.Wan, L.Wang, and V. V. Phoha, “A survey on gait recognition,” ACM Computing Surveys, vol. 51, no. 5, pp. 1–35, August 2018.

[11] I. Rida, N. Almaadeed, and S. Almaadeed, “Robust gait recognition: a comprehensive survey,” IET Biometrics, vol. 8, no. 1, pp. 14–28, January 2019.

[12] A. Nambiar, A. Bernardino, and J. C. Nascimento, “Gait-based person re-identification: A survey,” ACM Computing Surveys, vol. 52, no. 2, pp. 1–34, April 2019.

[13] M. D. Marsico and A. Mecca, “A survey on gait recognition via wearable sensors,” ACM Computing Surveys, vol. 52, no. 4, pp. 1–39, September 2019.

[14] J. P. Singh, S. Jain, S. Arora, and U. P. Singh, “Vision-based gait recognition: A survey,” IEEE Access, vol. 6, pp. 70 497–70 527, November 2018.

[36] P. Connor and A. Ross, “Biometric recognition by gait: A survey of modalities and features,” Computer Vision and Image Understanding, vol. 167, pp. 1–27, February 2018.

[37] M. J. Nordin and A. Saadoon, “A survey of gait recognition based on skeleton model for human identification,” Research Journal of Applied Sciences, Engineering and Technology, vol. 12, no. 7, pp. 756–763, April 2016.

[38] J. P. Singh, S. Jain, S. Arora, and U. P. Singh, “A survey of behavioral biometric gait recognition: Current success and future perspectives,” Archives of Computational Methods in Engineering, vol. 28, no. 1, pp. 107–148, November 2019.

深度步态识别综述（一）相关推荐

face recognition[翻译][深度人脸识别:综述]
这里翻译下<Deep face recognition: a survey v4>. 1 引言由于它的非侵入性和自然特征,人脸识别已经成为身份识别中重要的生物认证技术,也已经应用到许多领 ...
【深度学习】步态识别-论文阅读：（T-PAMI-2021）综述:Deep Gait Recognition
论文详情: 期刊:T-PAMI-2021 地址:参考笔记 1.Abstract 本文综述了到2021年1月底在步态识别方面的最新进展,以全面概述了深度学习步态识别的突破和最近的发展,涵盖了广泛的主题 ...
基于深度学习的脑电图识别综述篇(三)模型分析
作者|Memory逆光本文由作者授权分享导读脑电图(EEG)是一个复杂的信号,一个医生可能需要几年的训练并利用先进的信号处理和特征提取方法,才能正确解释其含义.而如今机器学习和深度学习的发展,大 ...
基于深度学习的脑电图识别综述篇(二)数据采样及处理
作者|Memory逆光本文由作者授权分享导读脑电图(EEG)是一个复杂的信号,一个医生可能需要几年的训练并利用先进的信号处理和特征提取方法,才能正确解释其含义.而如今机器学习和深度学习的发展,大 ...
基于深度学习的单人步态识别系统
基于深度学习的单人步态识别系统(目前数据集大小15人,准确率100%) 一.数据预处理 a.步态轮廓图 b.头部轮廓图实现方式: 核心代码: c.骨架图二.提取步态特征 a.角度特征 b.下肢特征 ...
指纹识别综述(10): 深度学习方法
指纹识别综述系列 1.导论:2.指纹传感器:3.特征提取:4.匹配:5.分类与检索:6.现场指纹识别: 7.指纹合成: 8.唯一性: 9.指纹系统安全:10.深度学习方法:11.专利. 本文会不定期更 ...
《智能步态识别门禁系统》，基于深度学习的多人步态识别系统
本文章仅仅提供一种自认为比较科学的方式去实现多人步态识别,如果对多人步态识别感兴趣,却又不知道如何实现的话,这篇文章将会有莫大的帮助.以下方法作者皆实验过是可行的方案.(训练集124人,准确率96%, ...
【深度学习】步态识别-论文阅读（无参考意义）：Cross-View Gait Recognition Based on Feature Fusion
这里写目录标题摘要介绍相关工作改进提出多尺度特征融合全局和局部特征融合特征映射结论基于特征融合的跨视图步态识别摘要与人脸识别相比,步态识别是最有前途的视频生物特征识别技术之一, ...
【深度学习智能手机步态识别】Deep Learning-Based Gait Recognition Using Smartphones in the Wild 论文理解
[深度学习智能手机步态识别]Deep Learning-Based Gait Recognition Using Smartphones in the Wild 论文理解解决什么问题本文创新点/贡 ...

深度步态识别综述（一）