人工神经网络在行人轨迹预测上的应用
简 介： 行人轨迹预测是缓解交通拥堵、优化智能汽车驾驶决策的重要依据，在自动驾驶和智慧交通上有着广泛的应用前景。但在交通场景中，行人的运动轨迹不仅会受到本身意图的影响，还会受到周围行人、车辆的影响，所以行人轨迹预测成为一项极具挑战性的工作。人工神经网络是一种人为建立的用于复杂模式和预测问题的数学模型，能够模仿脑部神经系统的某些机制并具有强大的时序序列信息处理能力，这些特性也恰好满足了行人轨迹预测任务的需要，目前使用人工神经网络解决行人轨迹预测问题成为了车辆感知领域的热点。
关键词： 行人轨迹预测，人工神经网络，自动驾驶，感知，预测
Contents
- 作者：雷帅
§01 引 言
汽车是人类目前为止发明的最重要的交通工具之一，其诞生为人类的生产、生活带来了诸多便利，极大程度的增广了人类的活动范围。汽车在生产、制造过程需要多学科共同参与，尤其是在人类步入信息时代后，车辆开始向智能化、网联化发展，越来越多的新兴技术正在被应用于汽车工业。在过去汽车解决了人类远距离交流和长途运输的问题，自动驾驶车辆将进一步解放人类。
目前，自动驾驶车辆研究的问题可划分为感知、决策、规划和控制四个主要部分。感知是为了给接下来的规划、决策和控制环节提供充分的周边环境信息，从而让车辆做出相对更优的路径轨迹和决策指令。因此，车辆在感知阶段不但需要收集尽可能多的有效环境信息，还需要根据环境的当前状态预测周围环境在一段时间后的状态。在预测环节不仅需要对周边车辆的车速，相对位置和行驶轨迹进行预测，还需要对道路上的行人轨迹进行预。总而言之，自动驾驶车辆基于雷达、车身摄像头等传感器数据周边环境进行观测和预测是车辆感知阶段的关键环节。
▲ 图1.1 行人检测
行人轨迹预测是一个复杂的问题，当行人的路径轨迹不仅受其本身的影响，还会受到周围环境的影响，如何进行精准的轨迹预测成为了自动驾驶感知领域的难点[1-2]。有丰富驾驶经验的驾驶者可以根据路人过去的路径轨迹对其将来的路径做出相对准确的预测，于是部分学者从人类大脑的思维方式得到启发，开始将人工神经网络应用于行人轨迹预测。人工神经网络能够模拟人类大脑中的突触结构，在训练中可以不断学习并实时更新网络参数，最终形成一种从输入到输出的可靠映射。这种可靠的映射关系在过去常用来解决分类问题或者回归问题，但由于网络在训练过程中还能够存储时序信息，从而通过历史信息预测未来，这种特性恰好的满足了轨迹预测所需。因此近年来不断有学者尝试通过数据集自主学习，使用不同类型的人工神经网络模型进行行人轨迹预测。目前广泛应用在行人轨迹预测领域的网络有RNN网络、GAN网络和GNN网络，这些网络在训练完成后对同类输入具有很好的适用性，拥有较高的轨迹预测精度。
§02 轨迹预测
最早用于行人轨迹预测的模型是循环神经网络模型（Recurrent Neural Network， RNN），其输出由当前输入和存储在网络中的历史信息共同决定，得益于这种特性网络能够根据历史序列信息去预测未来值。但传统的RNN网络会不加选择的将所有历史信息都存储于网络之中，在训练时这种记忆方式会导致大型网络产生梯度消失或者梯度爆炸，即神经网络的权值参数不能正常更新。行人轨迹预测领域为了保证轨迹预测的精度需要大量的网络节点和庞大的数据集进行训练，所以传统的RNN模型不能满足行人轨迹预测的需求。
为了解决复杂的序列预测问题需要在传统的RNN网络加入信息筛选功能，即在网络节点中加入遗忘门过滤重复的历史信息，根据这种思想S Hochreiter等人[3]提出了长短时记忆网络（Long Short-Term Memory, LSTM）。LSTM网络在链式结构的重复模块中增加了多层神经网络，与传统RNN网络最大的区别的是增加遗忘网络层来丢弃导致错误预测结果的信息，从而在解决梯度爆炸的问题的同时提升网络预测的精度。
▲ 图2.1 行人检测
将LSTM应用于行人轨迹预测领域具有代表性的成果有Alexandre A等人[4]在提出的Social lstm网络和Fernando T等[5]人提出的Soft + Hardwired Attention网络。
Social lstm网络将轨迹预测视为序列生成任务，在LSTM模型中加入一个允许相邻序列共享隐藏状态的“社交”池层，采用行人过去的位置去预测将来的位置对狭小空间内的行人轨迹进行预测，这一方法在公开数据集中取得了巨大的成功。Soft + Hardwired Attention网络在经典的序列到序列建模中扩展了编码-解码框架，运用简单的方法将“软注意”和“硬连线”结合起来修改网络权重，从而实现将当前的周边位置信息映射到感兴趣行人的未来位置。这种网络适用于解决其它网络不能正常工作的拥挤人群的轨迹预测问题，这一网络在十字路口等行人较多的复杂场景下有良好的应用前景。综上可知，LSTM神经网络主要解决行人本身对轨迹的影响，再根据社会交互模型的结论去修正目标预测轨迹，进而得出更加精确的预测结果。
§03 GAN轨迹预测
生成式对抗网络（GAN, Generative Adversarial Networks）是一种十分有效的无监督机器学习模型，其通过生成模型制造虚假样本再使用判别模型来判断样本的真伪，使用博弈的思想达到网络自主学习的目的。将GAN网络应用在行人轨迹预测中可以解决过去仅能预测一条“最优”轨迹的缺陷，此网络能够预测多条可行的轨迹并通过博弈的思想进一步优化预测精度。
将GAN运用在行人轨迹预测领域具有代表性的工作有Agrim G等人[6]提出的Social gan网络和Amirian J等人[7]提出的Social Ways。Social gan网络将LSTM用作“运动编码器模块”处理时间信息，并采用“位置编码器模块”对空间交互进行建模，结合来自序列预测和生成对抗网络的工具来解决行人轨迹预测问题。在Social Ways中使用Info-GAN解决了传统GAN存在的模式崩溃和模式丢失的影响，还在训练过程中忽略生成器的L2-loss，使得此网络在多模态行人轨迹预测上有着良好的训练效果。
GAN网络在行人轨迹预测领域有着广泛的运用，但是其自身的缺点影响了其进一步运用的空间[8]。例如网络在训练过程中只有达到纳什均衡才能够拥有良好的预测精度，若不满足则会导致网络不收敛。另一个问题就是网络训练过程中不使用损失函数，所以难以得知网络当前的训练效果，可能出现未知的生成器退化，进而导致网络无法继续训练。
§04 GNN轨迹预测
图卷积神经网络（Graph Convolutional Networks，GCN）是一种使用图的边和节点数据作为输入进行学习训练的网络，其工作原理和CNN一样都是使用离散卷积进行加权求和。GCN使用的数据是离散数学中的拓扑图，是机器学习中唯一一种使用非欧几里得数据的网络。图卷积神经网络非常适合加入时空数据进行预测，而且应用在行人轨迹预测领域时，此网络能够理解行人行为从而加快社交互动的建模进度。在轨迹预测领域，量化行人之间的社交行为对其轨迹的影响是一大难点，GCN不同于以往常采用的聚合方法对社交互动进行建模，而是通过理解行人行为来加快社交互动的建模进度，所以此网络在行人轨迹预测方面拥有广阔的应用前景。
将GCN网络运用在行人轨迹预测领域具有代表性的工作有Yingfan H等人[9]提出的STGAT时空图注意力网络和Mohamed A等人[10]提出的Social STGCNN社会时空图卷积神经网络。STGAT网络使用图注意力机制在每个时间步捕获空间社交行为，并使用LSTM对时间社交行为进行编码，最终使用序列到序列的方法来预测行人的轨迹。同样的，Social STGCNN网络提出了一种核函数，将行人之间的社会互动嵌入到邻接矩阵中建模为图网络结构。这种网络优化了社交行为模型，进而使得网络所需参数大幅减少，从而有效的提升了计算速度。受Mohamed A等人的启发，Zhou H等人[11]在Social STGCNN中的时空图卷积层中加入了注意力环节，提升了网络对行人社交行为的理解能力。简而言之，就是使用AST-GNN中的S-GNN网络和T-GNN网络替换原有的时空图卷积网络，通过这一方法在图神经网络中引入了注意力环节，从而一定程度提升了行人轨迹的预测精度。
综上可知，GCN神经网络不能够单独使用完成预测任务，它主要用于将行人社交模型加入到预测模型之中优化行人历史轨迹的处理过程，提升预测速度和预测精度。在实际运用时可以结合TXP-CNN、LSTMD等其他网络形成序列到序列的模型，从而实现预测行人轨迹的目的。
§05 总结与展望
本文首先通过叙述汽车行业的发展历史引出了自动驾驶车辆的研究方向，介绍了自动驾驶在感知环节中遇到的行人轨迹预测问题，并阐述了学者采用人工神经网络解决此问题的原因。其次，本文根据网络类型将目前广泛使用的预测网络分为了RNN网络、GAN网络和GCN网络三个大类，系统介绍了这三种人工神经网络为什么适用于行人轨迹预测以及网络在应用过程中存在的问题，详细阐述了这三类网络在轨迹预测方面的特性同时选择了具有代表性的文献加以论述。
近年来伴随着人工神经网络的兴起和计算机硬件水平的提升，行人轨迹预测领域迎来了突破性的成就。但是，自动驾驶不仅是一个科研问题也是一个工业问题，目前学者常采用拓展网络深度、增大网络规模来提升网络的预测精度 [12-13]，而这种方案在工业上实际运用时的实时性和可行性具有一定问题。今后学界和工业界可以通过缩减网络模型、加入融合感知和行人主观意图的方法来提升预测的精度和速度，将行人轨迹预测技术真正落地。
参考文献
[1]王少博. 动态场景下基于交互性预测的自动驾驶汽车轨迹规划方法研究[D].中国科学技术大学,2020.
[2]王欣然. 基于人-车交互的行人轨迹预测方法[D].大连理工大学,2020.
[3] Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural computation, 1997, 9(8): 1735-1780.）
[4]Alahi, Alexandre, et al. “Social lstm: Human trajectory prediction in crowded spaces.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.
[5]Fernando T, Denman S, Sridharan S, et al. Soft+ hardwired attention: An lstm framework for human trajectory prediction and abnormal event detection[J]. Neural networks, 2018, 108: 466-478.
[6]Gupta, Agrim, et al. “Social gan: Socially acceptable trajectories with generative adversarial networks.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.
[7]Amirian J, Hayet J B, Pettré J. Social ways: Learning multi-modal distributions of pedestrian trajectories with gans[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2019: 0-0.
[8]孔玮,刘云,李辉,王传旭,崔雪红.基于深度学习的行人轨迹预测方法综述[J].控制与决策,2021,36(12):2841-2850.
[9]Huang, Yingfan, et al. “Stgat: Modeling spatial-temporal interactions for human trajectory prediction.” Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019.
[10]Mohamed, Abduallah, et al. “Social-stgcnn: A social spatio-temporal graph convolutional neural network for human trajectory prediction.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.
[11]Zhou, Hao, et al. “AST-GNN: An attention-based spatio-temporal graph neural network for Interaction-aware pedestrian trajectory prediction.” Neurocomputing 445 (2021): 298-308.
[12]Rudenko, Andrey, et al. “Human motion trajectory prediction: A survey.” The International Journal of Robotics Research 39.8 (2020): 895-935.
[13]Jiang, Weiwei, and Jiayun Luo. “Graph neural network for traffic forecasting: A survey.” arXiv preprint arXiv:2101.11174 (2021).
人工神经网络在行人轨迹预测上的应用相关推荐
- 论文翻译 SGCN:Sparse Graph Convolution Network for Pedestrian Trajectory Prediction 用于行人轨迹预测的稀疏图卷积网络
SGCN:Sparse Graph Convolution Network for Pedestrian Trajectory Prediction 用于行人轨迹预测的稀疏图卷积网络 行人轨迹预测是自 ...
- CVPR 2018 Social GAN、CVPR 2019 Sophie、NIPS 2019 Social-BiGAT、CVPR 2019 Social Ways | 基于GAN的行人轨迹预测
目前广泛应用在行人轨迹预测领域的方法主要包括基于LSTM网络.GCN网络和GAN网络的轨迹预测方法,这些网络在训练完成后对同类型输入具有很好的适用性,拥有较高的轨迹预测精度.抽空整理下关于用GAN来做 ...
- 【行人轨迹预测数据集——ETH、UCY】
行人轨迹预测数据集--ETH.UCY 下载地址 文件介绍 EWAP UCY 下载地址 ETH Walking Pedestrians (EWAP): BIWI Walking Pedestrians ...
- 行人轨迹预测ETH数据集坐标转换
前记 最近几天对CVPR2018的一篇行人轨迹预测Social GAN进行了复现,过程中发现ETH数据集中行人的坐标已经转为了世界坐标,因此无法进行可视化,询问博主后得知要通过单应矩阵H将世界坐标反转 ...
- 行人轨迹预测方法综述
[摘 要]随着深度学习技术的突破和大型数据集的提出,行人轨迹预测的准确度已经成为人工智能领域的研究热点之一.主要对行人轨迹预测的技术分类和研究现状进行详细的综述.根据模型建模方式的不同,将现有方法分 ...
- 自动驾驶之行人轨迹预测数据集
一. Real Data ETH: Univ. + Hotel; 750 pedestrians exhibiting complex interactions UCY: Zara01, Zara02 ...
- 【FFNN负荷预测】基于人工神经网络的空压机负荷预测（Matlab代码实现）
- 顶会论文：基于神经网络StarNet的行人轨迹交互预测算法
1.背景 民以食为天,如何提升超大规模配送网络的整体配送效率,改善数亿消费者在"吃"方面的体验,是一项极具挑战的技术难题.面向未来,美团正在积极研发无人配送机器人,建立无人配送开放 ...
- 自动驾驶关键环节：行人的行为意图建模和预测(上)
作者 | 黄浴 出品 | AI科技大本营(ID:rgznai100) [导读]介绍一下最近行人行为意图建模和预测的研究工作,还是分上下两部分,本文为上半部分. Social LSTM: Human ...
最新文章
- 修改mysql 默认字符集 , 默认引擎
- npm should be run outside of the Node.js REPL, in your normal shell
- Ubuntu中apache+php+sql搭建/卸载
- 450g带盖吐司配方_450g带盖吐司烤多久
- 快速排序算法javascript实现
- boost::sort模块spreadsort 字符串函子反向排序示例
- iOS 钥匙串的基本使用
- java 接口 设计模式吗_JAVA接口设计模式-工厂模式
- 单片机c语言数字频率计课程设计,单片机数字频率计设计和调试 课程设计论文...
- 微型计算机原理及应用 课程设计,《微型计算机原理及其应用》课程设计.docx
- php提取文本数据处理,PHP文件处理—读取文件(一个字符,字串)
- JS分割字符串常用方法总结
- 小米最新系统android 10,国内最快推送安卓10稳定版系统！小米新旗舰出厂标配稳了...
- 这学期她选修了英语 计算机 驾驶三门课程,大一英语翻译答案
- 用计算机求a的平方根的顺序,算术平方根练习题
- Qt实现QQ截图中的马赛克效果
- SIGHUP信号与控制终端
- 猿人学第一题超详细-JS逆向过程
- 外卖返利系统,外卖返利系统小程序,外卖系统,返利系统
- ML之FE：特征工程处理中常用的数据变换(log取对数变换等)之详细攻略