GMAN: A Graph Multi-Attention Network for Traffic Prediction(2020AAAI)

由于交通系统的复杂性和许多影响因素的不断变化，长期交通预测具有很高的挑战性。本文重点研究了道路网络的时空因素，提出了一种图多注意网络(GMAN)来预测路网图上不同时间步长的交通状况。GMAN采用编码器-解码器架构，编码器和解码器由多个时空注意块组成，以模拟时空因素对交通状况的影响。编码器对输入流量特征进行编码，解码器对输出序列进行预测。在编码器和解码器之间，应用转换注意层对编码的流量特征进行转换，生成未来时间步的序列表示作为解码器的输入。转换注意机制模拟了历史时间步和未来时间步之间的直接关系，有助于缓解预测时间步之间的误差传播问题。在两个实际交通预测任务(交通量预测和交通速度预测)上的实验结果表明了GMAN算法的优越性。特别是在1小时前的预测中，GMAN比最先进的方法在MAE测量上提高了4%。

1) Complex spatio-temporal correlations.

• Dynamic spatial correlations.

• Non-linear temporal correlations

2) Sensitivity to error propagation. 从长远来看，当预测进一步深入到未来时，每个时间步骤中的小误差可能会放大。这种错误传播使得对遥远未来的预测变得非常困难。

方法：

我们提出一个图多注意力网络(GMAN)用于预测路网图上未来时间步长的交通状况。这里，交通状况指的是交通系统上的观测值，可以以数值形式报告。为了说明的目的，我们专注于交通量和交通速度的预测，尽管我们的模型可以应用于其他数值交通数据的预测。

GMAN遵循编码器-解码器架构，其中编码器编码输入流量特征，解码器预测输出序列。在编码器和解码器之间添加转换注意力层，以转换编码的历史流量特征，以生成未来的表示。编码器和解码器都由一堆ST-Attention块组成。空间注意力机制建模动态空间相关性，时间注意力机制建模非线性时间相关性，门控融合机制自适应融合空间和时间表示，形成每个st -注意力块。转换注意力机制对历史和未来时间步长之间的直接关系进行建模，以缓解错误传播的影响。在两个真实数据集上的实验证实，GMAN取得了最先进的性能。

框架：

Graph Multi-Attention Network

图2说明了所提出的图多注意力网络(GMAN)的框架，该网络具有编码器-解码器结构。编码器和解码器都包含L st -注意块(STAtt块)具有剩余连接(He et al. 2016)。每个st -注意力块由门控融合的空间和时间注意力机制组成。在编码器和解码器之间，在网络中添加一个转换注意力层，将编码的流量特征转换到解码器。通过时空嵌入(STE)将图结构和时间信息融入到多注意力机制中。此外，为了便于残差连接，所有层都产生D维的输出。下面将详细介绍这些模块。

1. Spatio-Temporal Embedding

由于交通状况的演化受到底层路网的限制(Lv et al. 2018)，因此将路网信息纳入预测模型至关重要。本文提出一种空间嵌入方法，将顶点编码为保持图结构信息的向量。具体来说，我们利用node2vec方法(Grover和Leskovec 2016)来学习顶点表示。此外，为了将预学习到的向量与整个模型进行协同训练，这些向量被送入一个两层的全连接神经网络

空间嵌入仅提供静态表示，无法表示路网中交通传感器之间的动态关联。本文进一步提出一种时间嵌入方法，将每个时间步编码为一个向量。具体来说，让一天有T个时间步骤。我们使用one-hot编码将每个时间步长的星期几和一天中的时间编码到R7和RT中，并将它们连接起来成为一个向量RT + 7。接下来，我们应用一个两层的全连接神经网络将时间特征转换为矢量RD

为了获得时变的顶点表示，我们将前述的空间嵌入和时间嵌入融合为时空嵌入(STE)，如图2(b)所示。

ST-Attention Block

1.Spatial Attention

一条道路的交通状况受其他道路不同影响程度的影响。这种影响是高度动态的，随着时间的推移而变化。为了对这些属性进行建模，设计了一种空间注意力机制，以自适应地捕捉路网中传感器之间的相关性。其关键思想是在不同的时间步为不同的顶点(例如传感器)动态分配不同的权重，如图3所示。

为了稳定学习过程，将空间注意力机制扩展为多头注意力机制(Vaswani et al. 2017)。将K个并行注意力机制与不同的可学习投影连接起来

当顶点数N很大时，时间和内存消耗会很大，因为我们需要计算N2个注意力得分。为解决这一限制，本文进一步提出一种群体空间注意力，包括群体内空间注意力和群体间空间注意力，如图4所示。（这种做法其实是很直观的做法）

我们将N个顶点随机分成G组，每组包含M = N/G个顶点(必要时可以应用填充)。在每组中，计算组内注意力，通过方程5、6和7对顶点之间的局部空间相关性进行建模，其中可学习的参数在组间共享。然后，我们在每个组中应用最大池化方法，以获得每个组的单个表示。然后，计算组间空间注意力来建模不同组之间的相关性，为每个组生成一个全局特征;将局部特征添加到相应的全局特征中作为最终输出。

2. Temporal Attention

某一地点的交通状况与其先前的观测值相关，并且这种相关性随时间步长非线性变化。为了对这些属性进行建模，设计了一种时间注意力机制，以自适应地对不同时间步之间的非线性相关性进行建模，如图5所示。注意，时间相关性同时受到交通状况和相应的时间上下文的影响。例如，发生在早上高峰时间的拥堵可能会影响交通几个小时。因此，我们同时考虑流量特征和时间来衡量不同时间步之间的相关性。具体来说，我们将隐藏状态与时空嵌入相结合，并采用多头方法计算注意力得分。

3）Gated Fusion

如图2(c)所示，我们设计了一个门控融合来自适应融合空间和时间表示。门控融合机制自适应地控制空间和时间依赖在每个顶点和时间步的流动

Transform Attention

为了缓解在长时间范围内不同预测时间步之间的误差传播效应，在编码器和解码器之间添加了转换注意力层。它对每个未来时间步和每个历史时间步之间的直接关系进行建模，以转换编码的流量特征，以生成未来的表示，作为解码器的输入

Experiments

Experimental Results

表1展示了不同方法在两个数据集上对预测15分钟(3步)、30分钟(6步)和1小时(12步)的比较。我们观察到:(1)深度学习方法优于传统的时间序列方法和机器学习模型，展示了深度神经网络在建模非线性交通数据的能力;(2)在深度学习方法中，基于图的模型STGCN、DCRNN、Graph WaveNet和GMAN的性能普遍优于FC-LSTM；(3) GMAN实现了最先进的预测性能，其优势在长期范围(例如提前1小时)更明显。我们认为，长期交通预测更有利于实际应用，例如，它允许交通机构有更多的时间采取行动，根据预测来优化交通。

Fault Tolerance Comparison

结论：

我们提出了一种图多注意力网络(GMAN)来预测路网图上提前时间步的交通状况。具体来说，我们提出了门控融合的空间和时间注意力机制来建模复杂的时空相关性。进一步设计了转换注意力机制来缓解误差传播的影响，以提高长期预测性能。在两个真实数据集上的实验表明，GMAN取得了最先进的结果，并且预测的时间越长，优势越明显。未来，我们将把GMAN应用到其他时空预测任务中，例如用水量预测。

GMAN: A Graph Multi-Attention Network for Traffic Prediction(2020AAAI)相关推荐

2020 AAAI-GMAN: A Graph Multi‐Attention Network for Traffic Prediction阅读笔记（翻译）
注明:本文仅是翻译了论文,主要目的方便日后温故
Dynamic Graph Convolutional Recurrent Network for Traffic Prediction Benchmark and Solution
Dynamic Graph Convolutional Recurrent Network for Traffic Prediction: Benchmark and Solution 1. 文章概述 ...
论文阅读：GMAN: A Graph Multi-Attention Network for Traffic Prediction
摘要: 在本文中,我们主要聚焦于时空因素,提出了一种图多重注意力网络(GMAN)去预测交通信息. GMAN采用了一种编码器解码器结构,同时编码器和解码器均由多个时空注意块组成,以模拟时空因素对交通状况 ...
论文笔记--GMAN: A Graph Multi-Attention Network for Traffic Prediction
Summary 在交通预测问题上,作者针对时空因素提出了一种图多注意网络(GMAN)来预测道路网络图上不同位置的时间步长提前的交通状况.GMAN主要采用了编码解码的架构.编码器和解码器之间包含一个注意 ...
论文笔记：Adaptive Graph Spatial-Temporal Transformer Network for Traffic Flow Forecasting
论文地址挑战空间图中一个节点对另一个节点的影响可以跨越多个时间步,分别处理空间维度和时间维度数据的方法对直接建模跨时空效应可能是无效的.(在图形建模过程中需要考虑这种跨时空效应) 以前的工作通常使 ...
【车流量预测论文】(2020)GMAN: A Graph Multi-Attention Network for Traffic Prediction-20201213
GMAN:一种用于交通预测的图形多注意网络 GMAN: A Graph Multi-Attention Network for Traffic Prediction 论文参考代码Github:http ...
图注意力网络(Graph Attention Network, GAT) 模型解读与代码实现(tensorflow2.0)
前面的文章,我们讲解了图神经网络三剑客GCN.GraphSAGE.GAT中的两个: 图卷积神经网络(GCN)理解与tensorflow2.0代码实现 GraphSAGE 模型解读与tensorflow ...
HAN - Heterogeneous Graph Attention Network 异构图注意力网络 WWW2019
论文题目:Heterogeneous Graph Attention Network (HAN)异构图注意力网络作者:北京邮电大学Xiao Wang,Houye Ji等人来源:WWW2019 论文 ...
（论文笔记）An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition
An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition 文章目录 An ...

GMAN: A Graph Multi-Attention Network for Traffic Prediction(2020AAAI)

GMAN: A Graph Multi-Attention Network for Traffic Prediction(2020AAAI)相关推荐

最新文章

热门文章