在开放环境的步态识别：一个基准（三）

4. Experiments

\quad \quad在实验中，作者对提出的GREW数据集进行了广泛的基线和分析。首先，报告了6种方法的主要基线结果。然后，作者研究了规模的影响，包括增加训练和测试的身份，干扰物集的大小。第三，比较不同人体属性的性能，包括性别、年龄组、携带条件和着装风格的准确性。第四，作者展示了本文数据集在预训练方面的有效性，以及实际应用的时间分析。最后是关于步态识别的成功和失败的样本结果。

4.1. Main Baseline Results

\quad \quad 6条基线的Rank-k精度如图7所示，并在表6中进行了总结。GREW训练集和测试集分别用于训练和评估。结果表明，GaitSet和GaitPart是在野外进行步态识别的优越方法，与受限的CASIA-B和OU-MVLP上的表现一致。更具体地说，GaitSet和GaitPart在Rank-1指标方面的准确率分别为46.28%和44.01%。对于rank-5和rank-20的标准，这两个算法分别超过60%和70%。由于TS-CNN和GEINet将GEI作为输入，而且层数相对较少，它们在GREW基准上取得的准确度要低得多。GEI失去了一些有用的时间信息，这对无约束的步态识别可能很重要。TS-CNN 与 GEINet 相比，前者采用双流度量学习，因此过拟合问题较少，精度更高。与基于外观的基线相比，基于模型的PoseGait和GaitGraph基线的性能较差，这表明野外步态识别对人体姿势输入非常具有挑战性。

\quad \quad考虑到GREW是第一个无约束的步态基准，作者将其结果与CASIAB和OU-MVLP上的结果进行比较。对于表现最佳的GaitSet和GaitPart，CASIA-B和OU-MVLP的Rank-1分数超过80%。由于GREW数据集上更具挑战性的因素，例如不同的视角、携带和着装变化，它们仅成功识别了 46.28% 和 44.01% 的 Rank-1 标准序列。当干扰物集被添加到gallery中时，最佳准确率下降到 41.97%，显示了现实世界步态识别的难度。结果表明，GREW对于无约束步态识别至关重要且有效，并且还有很大的改进空间。

4.2. Influence of the Scale

\quad \quad在深度学习时代，大规模的标记数据对各种视觉任务的基准测试起着重要作用。在本节中，作者研究了数据规模对GREW的训练和测试的影响。

Accuracy with Increasing Training Identities在这个实验中，作者证明了步态识别的准确性随着训练身份的增加而增加。准备了 6 种不同的子集大小，包括 1K、2K、4K、8K、16K 和最大 20K。前 5 个训练子集是随机选择的，但是固定用于不同的算法。评估是在整个GREW测试集上进行的。

\quad \quad如图8所示，对于最先进的GaitSet和GaitPart，测试集上的Rank-1随着更多的训练身份而稳定增长。因此，20K规模的整个训练集达到了最高的Rank-1准确度。具体来说，GaitSet将Rank-1从1K训练受试者的28.0%提高到20K训练受试者的46.28%。结果清楚地表明，大规模的 GREW 训练数据有助于未来的步态识别研究。

\quad \quad对于 GEINet 基线，训练数据的规模对性能没有明显影响。原因可能是 GEINet 中的网络架构对大数据的学习能力有限。TS-CNN 使用双流度量学习网络结构，并以成对的 GEI 作为输入，可能较少受到过拟合的影响。因此，它的 Rank-1 准确率从 9.50% 缓慢增加到13.55%。基于模型的基线由于精确度较低，对训练数据的规模不敏感。

Accuracy with Increasing Test Identities一个充足的测试集对于评估步态识别器的性能是至关重要的。在这个实验中，作者研究了搜索空间尺度和Rank-1准确性之间的关系，如图9所示。当测试身份从 1K 增加到 6K 时，几乎所有方法都会出现精度下降的问题。更具体地说，GaitSet 在 1K 测试身份上的得分为 57.45% Rank-1，但在测试规模翻倍时下降到 49.83%。当受试者增加到 6K 时，GaitSet 和 GaitPart 的精度下降都超过 10%。随着gallery中身份的增加，主体间外观相似的可能性变得更高，因此通过顶部检索识别某些身份更具挑战性。其他基线的评估结果得出相同的结论。

Accuracy with Distractor Set在步态应用中，考虑到许多不相关的身份，gallery大小可能非常大。作者将构建的干扰物集添加到gallery中以研究这种实际设置。如图 10 所示，通过用干扰物集扩大gallery，大多数方法获得较低的识别分数。当涉及所有 233K 个干扰序列时，最佳基线 GaitSet 的 Rank-1 下降到 41.97%。干扰集的准确性再次表明 GREW 基准测试的必要性。

4.3. Performance on Different Attributes

\quad \quad本节研究了不同属性之间步态识别的性能差异，包括性别、年龄组、携带和穿着。本文采用 GaitSet [4] 作为识别方法，因为它在基线实验中表现最好。性别和年龄组的 Rank-1 准确率如图 11 所示。根据结果，对于大多数年龄组，女性的步态识别性能始终优于男性。作者认为女性包含更多不同的变化，例如穿着和发型，这可能有助于通过步态轮廓进行个体识别。对于不同年龄组的结果，可以发现由于步行模式不成熟，孩子们的表现比其他组差。此外，由于身体退化，老年人的识别准确率略低于成年人。携带和穿衣的属性结果如表7所示。与正常步行（即None）相比，各种携带总是降低步态识别精度。更具体地说，Lift-stuff 是最困难的，因为它包含更多的多样性。对于着装风格，结果表明在 GaitSet 中通过轮廓识别裙子更具挑战性。

4.4. GREW for Pre-training

\quad \quad为了验证使用 GREW 数据集的预训练模型的有效性，作者在本节中进行了跨数据集实验。比较了GaitSet的原始（CASIA-B上的训练和测试）、直接交叉数据集评估（GREW上的训练、CASIA-B上的测试）和微调（GREW上的预训练、CASIA-B上的微调和评估）性能。具体来说，GaitSet通过三种设置在CASIA-B上获得83.64%、45.14%、84.48%的准确率。由于明显的域差距，第二种配置的准确性较差。通过对目标域进行微调，步态识别准确率显着优于原始数据 0.84%，这表明本文的数据集具有出色的预训练能力。

4.5. Times

\quad \quad除了准确性之外，速度也是实际步态识别的关键因素，这在以前的文献中总是被忽视。在本节中，作者比较了不同基线的推理时间，包括预处理、步态特征提取和图库中的搜索。通过平均所有序列持续时间，在 GREW 测试集上粗略地测量时间。如表 8 所示，对于平均 157 帧的序列，预处理（即检测、分割、姿态估计等）花费大部分时间。步态特征提取（主网络推理）和搜索过程相对较快。还计算了步态网络的 FLOP 和参数以进行比较。总之，当前的步态识别pipeline需要针对实际应用进行优化。

4.6. Sample results

\quad \quad图 12 提供了 GREW 测试集上的几个示例结果，这些结果由 GaitSet 基线执行。对于第一次探测，GaitSet 成功检索到了 Rank-1 结果中的对象，但改变了衣服和不同的步行方向。对于第二次探测，由于裙子的穿着相似，Rank-1的结果是不正确的，而在带有携带和部分遮挡的两次检索中，结果为true positive。

5. Discussion and Conclusion

Discussion在构建GREW基准的过程中，隐私和偏差问题是首先关注的问题。为了保护隐私，只会使用和发布轮廓、flow和人体姿势，这些不会泄露任何个人视觉信息。作者将为签署许可证的申请人提供严格的访问权限，并尽力保证其仅用于研究目的。对于数据集偏差，GREW具有平衡的性别分布，而某些属性（如种族、年龄组、着装）由于拍摄地点和时间的原因不可避免地存在偏差。由于本文的数据集规模庞大且多样，因此可以对平衡数据进行采样，以减少偏差来训练模型。此外，生物特征学界最近的去偏差研究也可能缓解这一问题。

Conclusion据作者所知，本文是在野外进行大规模步态识别的第一步。首先，GREW数据集包含26K个受试者的128K序列，这些受试者的属性变化丰富，数据灵活。其次，作者手动注释来自数百台摄像机的数千小时流，生成具有自动轮廓和人体姿势的14M框。此外，还收集了233K干扰物集序列用于实际评估。最后，通过综合基线定量分析无约束步态识别的挑战，得出深入和建设性的见解。未来的工作将进一步研究步态识别的开放问题，例如预处理、更深层次和现代网络、分解、软生物识别、非/半/自监督学习的影响。