论文名称：Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting

论文下载：https://arxiv.org/abs/1707.01926

论文年份：ICLR 2018

论文被引：1228（2022/04/21）

论文代码：https://github.com/liyaguang/DCRNN

ABSTRACT

Spatiotemporal forecasting has various applications in neuroscience, climate and transportation domain. Traffic forecasting is one canonical example of such learning task. The task is challenging due to (1) complex spatial dependency on road networks, (2) non-linear temporal dynamics with changing road conditions and (3) inherent difficulty of long-term forecasting. To address these challenges, we propose to model the traffic flow as a diffusion process on a directed graph and introduce Diffusion Convolutional Recurrent Neural Network (DCRNN), a deep learning framework for traffic forecasting that incorporates both spatial and temporal dependency in the traffic flow. Specifically, DCRNN captures the spatial dependency using bidirectional random walks on the graph, and the temporal dependency using the encoder-decoder architecture with scheduled sampling. We evaluate the framework on two real-world large scale road network traffic datasets and observe consistent improvement of 12% - 15% over state-of-the-art baselines.

【研究意义】

时空预测在神经科学、气候和交通领域有多种应用。交通预测是这种学习任务的一个典型例子。

【面临挑战】

1）对道路网络的复杂空间依赖性
2）随道路条件变化的非线性时间动态
3）长期预测的固有困难

【解决方案】

为了应对这些挑战，我们建议将交通流建模为有向图上的扩散过程，并引入扩散卷积递归神经网络 (Diffusion Convolutional Recurrent Neural Network，DCRNN)，这是一种用于交通预测的深度学习框架，它在交通流中结合了空间和时间依赖性。具体来说，

DCRNN 使用图上的双向随机游走来捕获空间依赖性，
并使用具有计划采样（scheduled sampling）的编码器-解码器架构来捕获时间依赖性。

【实验结果】

我们在两个真实世界的大规模道路网络交通数据集上评估该框架，并观察到比最先进的基线持续改进 12% - 15%。

1 INTRODUCTION

【研究意义】

对于在动态环境中运行的学习系统而言，时空预测是一项至关重要的任务。它具有广泛的应用，从自动驾驶汽车运营到能源和智能电网优化，再到物流和供应链管理。在本文中，我们研究了一项重要任务：道路网络的交通预测，这是智能交通系统的核心组成部分。交通预测的目标是在给定历史交通速度和基础道路网络的情况下预测传感器网络的未来交通速度。

【面临挑战】

这项任务具有挑战性，主要是由于复杂的时空依赖性和长期预测的固有困难。

一方面，交通时间序列表现出强烈的时间动态。高峰时间或事故等反复发生的事件可能会导致非平稳性，从而难以长期预测。
另一方面，道路网络上的传感器包含复杂而独特的空间相关性。

图 1 说明了一个示例。道路 1 和道路 2 相关，而道路 1 和道路 3 不相关。尽管道路 1 和道路 3 在欧几里得空间中很接近，但它们表现出非常不同的行为。此外，未来流量速度受下游流量的影响大于上游流量。这意味着交通中的空间结构是非欧式的和定向的。

【已有研究】

交通预测已经研究了几十年，主要分为两大类：知识驱动方法和数据驱动方法。在交通和运筹学研究中，知识驱动的方法通常应用排队论并模拟交通中的用户行为 (Cascetta, 2013)。在时间序列社区中，数据驱动的方法，如自回归综合移动平均 (ARIMA) 模型和卡尔曼滤波仍然很流行 (Liu et al., 2011; Lippi et al., 2013)。然而，简单的时间序列模型通常依赖于平稳性假设，这经常被交通数据所违反。最近，

Lvet al. (2015); Yu et al. (2017b) 开发了用于交通预测的深度学习模型，但没有考虑空间结构。
Wu & Tan (2016) and Ma et al. (2017) 使用卷积神经网络（CNN）对空间相关性进行建模，但空间结构在欧几里得空间中（例如，2D 图像）。
Bruna et al. (2014), Defferrard et al. (2016) 研究了图卷积，但仅适用于无向图。

【本文工作】

在这项工作中，我们使用有向图表示交通传感器之间的成对空间相关性，其节点是传感器，边权重表示通过道路网络距离测量的传感器对之间的接近度。我们将交通流的动态建模为扩散过程，并提出扩散卷积操作来捕获空间依赖性。我们进一步提出了扩散卷积递归神经网络（DCRNN），它集成了扩散卷积（diffusion convolution）、序列到序列（seq2seq）架构和计划采样（scheduled sampling）技术。在对现实世界的交通数据集进行评估时，DCRNN 始终在很大程度上优于最先进的交通预测基线。总之：

我们研究交通预测问题，并将交通的空间依赖性建模为有向图上的扩散过程。我们提出了扩散卷积，它具有直观的解释并且可以有效地计算。
我们提出了扩散卷积递归神经网络（DCRNN），这是一种整体方法，它使用扩散卷积和序列到序列学习框架以及计划采样来捕获时间序列之间的空间和时间依赖性。DCRNN 不仅限于交通运输，而且很容易适用于其他时空预测任务。
我们在两个大规模的真实世界数据集上进行了广泛的实验，所提出的方法比最先进的基线方法获得了显着的改进。

2 METHODOLOGY

我们形式化了时空交通预测的学习问题，并描述了如何使用扩散卷积递归神经网络对依赖结构进行建模。

2.1 TRAFFIC FORECASTING PROBLEM

交通预测的目标是根据道路网络上 N 个相关传感器先前观察到的交通流量来预测未来的交通速度。我们可以将传感器网络表示为加权有向图 G = (V, E, W)，其中 V 是一组节点 |V| = N，E 是一组边，W∈RN×NW ∈ \R^{N×N}W∈RN×N 是一个加权邻接矩阵，表示节点的接近度（例如，它们的道路网络距离的函数）。将 G 上观察到的交通流表示为图信号 X∈RN×PX ∈ \R^{N×P}X∈RN×P，其中 P 是每个节点的特征数（例如，速度、体积）。令 X(t) 表示在时间 t 观察到的图信号，交通预测问题旨在学习一个函数 h(·)，将 T’ 个历史图信号映射到未来 T 个图信号，给定图 G：

2.2 SPATIAL DEPENDENCY MODELING

我们通过将交通流与扩散过程相关联来对空间依赖性进行建模，该扩散过程明确地捕捉了交通动态的随机性。这种扩散过程的特点是 G 上的随机游走，重启概率为 α ∈ [0, 1]，状态转移矩阵 DO−1WD^{−1}_OWDO−1W 。这里 DOD_ODO = diag(W1W 1W1) 是出度对角矩阵，1∈RN1 ∈ \R^N1∈RN 表示全一向量。经过许多时间步后，这种马尔可夫过程收敛到一个平稳分布 P∈RN×NP ∈ \R^{N×N}P∈RN×N，其第 iii 行 Pi,:∈RNP_{i,:} ∈ \R^NPi,:∈RN 表示从节点 vi∈Vv_i ∈ Vvi∈V 扩散的可能性，因此相对于节点viv_ivi 是接近的。以下引理为平稳分布提供了一个封闭形式的解决方案。

引理2.1。(Teng et al., 2016) 扩散过程的平稳分布可表示为图上无限随机游动的加权组合，并以封闭形式计算：

其中 k 是扩散步骤。在实践中，我们使用扩散过程的有限 K 步截断，并为每个步骤分配可训练的权重。我们还包括反向扩散过程，这样双向扩散为模型提供了更大的灵活性来捕捉来自上游和下游流量的影响。

Diffusion Convolution 在图信号 X∈RN×PX ∈ \R^{N×P}X∈RN×P 和滤波器 fθf_θfθ 上产生的扩散卷积操作定义为：

其中 θ∈RK×2θ ∈ \R^{K×2}θ∈RK×2 是滤波器的参数，DO−1WD^{−1}_OWDO−1W, DO−1WTD^{−1}_OW^TDO−1WT 分别表示扩散过程和反向过程的转移矩阵。一般来说，计算卷积可能很昂贵。但是，如果 G 是稀疏的，则可以使用 O(K)O(K)O(K) 递归稀疏密集矩阵乘法有效地计算公式 2，总时间复杂度为 O(K∣E∣)≪O(N2)O(K|E|) \ll O(N^2)O(K∣E∣)≪O(N2)。有关详细信息，请参阅附录 B。

Diffusion Convolutional Layer 使用等式 2 中定义的卷积运算，我们可以构建一个扩散卷积层，将 P 维特征映射到 Q 维输出。将参数张量表示为 Θ∈RQ×P×K×2=[θ]q,pΘ ∈ \R^{Q×P ×K×2} = [θ]_{q,p}Θ∈RQ×P×K×2=[θ]q,p，其中 Θq,p,:,:∈RK×2Θ_{q,p,:,:} ∈ \R^{K×2}Θq,p,:,:∈RK×2 参数化了第 ppp 个输入和第 qqq 个输出的卷积滤波器。因此，扩散卷积层为：

其中 X∈RN×PX ∈ \R^{N×P}X∈RN×P 是输入，H∈RN×QH ∈ \R^{N×Q}H∈RN×Q 是输出，{fΘq,p,,:}\{f_{Θ_{q,p,,:}} \}{fΘq,p,,:} 是滤波器，aaa 是激活函数（例如，ReLU，Sigmoid）。扩散卷积层学习图形结构化数据的表示，我们可以使用基于随机梯度的方法对其进行训练。

Relation with Spectral Graph Convolution 扩散卷积在有向图和无向图上都定义。当应用于无向图时，我们展示了许多现有的图结构卷积操作，包括流行的谱图卷积（spectral graph convolution）——ChebNet (Defferrard et al., 2016)，可以被视为扩散卷积的一种特殊情况（直至相似变换）。令 D 表示度矩阵（degree matrix），L=D−1/2(D−W)D−1/2L = D^{− 1/2} (D − W )D^{− 1/2}L=D−1/2(D−W)D−1/2 为归一化图拉普拉斯算子，下面的命题证明了这种联系。

2.3 TEMPORAL DYNAMICS MODELING

我们利用循环神经网络 (RNN) 对时间依赖性进行建模。特别是，我们使用门控循环单元 (GRU) (Chung et al., 2014)，它是 RNN 的一个简单而强大的变体。我们将 GRU 中的矩阵乘法替换为扩散卷积，这就是我们提出的扩散卷积门控循环单元 (DCGRU)。

其中 X(t), H(t) 表示时间 t 的输入和输出，r(t), u(t) 分别是时间 t 的重置门和更新门。 ☆G 表示公式 2 中定义的扩散卷积，Θr、Θu、ΘC 是相应滤波器的参数。与 GRU 类似，DCGRU 可用于构建循环神经网络层并使用反向传播进行训练。

在多步超前预测中，我们采用序列到序列架构（Sutskever et al., 2014）。编码器和解码器都是带有 DCGRU 的循环神经网络。在训练期间，我们将历史时间序列输入编码器，并使用其最终状态来初始化解码器。解码器在给定先前的真实值的情况下生成预测。在测试时，真实值被模型本身生成的预测所取代。训练和测试的输入分布之间的差异会导致性能下降。为了缓解这个问题，我们将计划抽样 (Bengio et al., 2015) 集成到模型中，在该模型的第 iii 次迭代中，我们向模型提供概率为 ϵi\epsilon_iϵi 的真实值或概率为 1 - ϵi\epsilon_iϵi 的模型的预测。在训练过程中，ϵi\epsilon_iϵi 逐渐减小到 0，让模型学习测试分布。

通过空间和时间建模，我们构建了一个扩散卷积递归神经网络 (DCRNN)。 DCRNN 的模型架构如图 2 所示。整个网络通过使用随时间的反向传播最大化生成目标未来时间序列的可能性来训练。DCRNN 能够捕捉时间序列之间的时空依赖关系，可以应用于各种时空预测问题。

3 RELATED WORK

交通预测是交通和运筹学中的一个经典问题，主要基于排队理论和模拟（Drew，1968）。用于交通预测的数据驱动方法受到了相当多的关注，更多细节可以在最近的一篇调查论文 (Vlahogianni et al., 2014) 和其中的参考资料中找到。然而，现有的机器学习模型要么对数据强加固定假设，例如，自回归模型。要么无法解释高度非线性的时间依赖性，例如，潜在空间模型 Yu et al. (2016); Deng et al. (2016)。

深度学习模型为时间序列预测问题提供了新的希望。

Yu et al. (2017b); Laptev et al. (2017), 使用深度递归神经网络 (RNN) 研究时间序列预测。
卷积神经网络 (CNN) 也已应用于交通预测。Zhang et al. (2016; 2017) 将道路网络转换为常规的二维网格，并应用传统的 CNN 来预测人群流动。
Cheng et al. (2017) 提出了 DeepTransport，它通过显式收集每条单独道路的上游和下游邻域道路，然后分别对这些邻域进行卷积来模拟空间依赖性。

最近，CNN 已经被推广到基于谱图理论的任意图。图卷积神经网络 (GCN) 在 Bruna 等人（2014）中首次引入，它连接了谱图理论和深度神经网络。

Defferrard et al. (2016) 提出了 ChebNet，它通过快速局部卷积过滤器改进了 GCN。
Kipf & Welling (2017) 简化了 ChebNet 并在半监督分类任务中实现了最先进的性能。
Seo et al. (2016) 将 ChebNet 与循环神经网络 (RNN) 结合起来进行结构化序列建模。
Yu et al. (2017a) 将传感器网络建模为无向图，并应用 ChebNet 和卷积序列模型 (Gehring et al., 2017) 进行预测。

提到的基于谱的卷积的一个限制是它们通常需要图是无向的以计算有意义的谱分解。

从谱域到顶点域，Atwood & Towsley (2016) 提出了扩散卷积神经网络 (DCNN)，它将卷积定义为跨图结构输入中每个节点的扩散过程。
Hechtlinger et al. (2017) 提出 GraphCNN 通过将每个节点与其 p 最近邻进行卷积来将卷积泛化到图。

然而，这两种方法都没有考虑时间动态，主要处理静态图设置。

由于问题设置和图上卷积的公式，我们的方法与所有这些方法都不同。我们将传感器网络建模为加权有向图，它比网格或无向图更真实。此外，所提出的卷积是使用双向图随机游走定义的，并进一步与序列到序列学习框架以及计划采样相结合，以对长期时间依赖性进行建模。

4 EXPERIMENTS

我们对两个真实世界的大规模数据集进行了实验：（1）METR-LA 该交通数据集包含从洛杉矶县高速公路的环路检测器收集的交通信息（(Jagadish et al., 2014）。我们选择了 207 个传感器并收集了 2012 年 3 月 1 日至 2012 年 6 月 30 日 4 个月的数据进行实验。 (2) PEMS-BA Y 该交通数据集由加州交通局 (CalTrans) 绩效测量系统 (PeMS) 收集。我们在湾区选择了 325 个传感器，并收集了 2017 年 1 月 1 日至 2017 年 5 月 31 日 6 个月的数据进行实验。两个数据集的传感器分布在附录的图 8 中进行了可视化。

在这两个数据集中，我们将交通速度读数汇总到 5 分钟的窗口中，并应用 Z-Score 标准化。 70% 的数据用于训练，20% 用于测试，其余 10% 用于验证。为了构建传感器图，我们计算传感器之间的成对道路网络距离，并使用阈值高斯核构建邻接矩阵 (Shuman et al., 2013)。Wij=exp(−dist(vi,vj)2σ2)W_{ij} = exp(− \frac{dist(v_i,v_j)^2}{σ^2})Wij=exp(−σ2dist(vi,vj)2) 如果 dist(vi,vj)≤κdist(v_i, v_j) ≤ κdist(vi,vj)≤κ，否则为 0，其中 Wij 表示传感器 vi 和传感器 vj 之间的边缘权重，dist(vi, vj) 表示传感器 vi 到传感器 vj 的路网距离。 σ 是距离的标准差，κ 是阈值。

4.1 EXPERIMENTAL SETTINGS

基线我们将 DCRNN 与广泛使用的时间序列回归模型进行比较，包括

1）HA：Historical Average，将交通流量建模为季节性过程，并使用前几季的加权平均值作为预测；
2）ARIMAkal：具有卡尔曼滤波器的自回归综合移动平均模型，广泛用于时间序列预测；
3）VAR：向量自回归（Hamilton，1994）。
4）SVR：Support Vector Regression，使用线性支持向量机进行回归任务；
5）前馈神经网络 (FNN)：具有两个隐藏层和 L2 正则化的前馈神经网络。
6）具有全连接的 LSTM 隐藏单元的递归神经网络 (FC-LSTM) (Sutskever et al., 2014)。

所有基于神经网络的方法都是使用 Tensorflow (Abadi et al., 2016) 实现的，并使用带有学习率退火的 Adam 优化器进行训练。使用树结构 Parzen 估计器 (TPE) (Bergstra et al., 2011) 在验证数据集上选择最佳超参数。附录 E 中提供了 DCRNN 和基线的详细参数设置。

4.2 TRAFFIC FORECASTING PERFORMANCE COMPARISON

表 1 显示了不同方法在两个数据集上提前 15 分钟、30 分钟和 1 小时预测的比较。这些方法基于流量预测中的三个常用指标进行评估，包括 (1) 平均绝对误差 (MAE)、(2) 平均绝对百分比误差 (MAPE) 和 (3) 均方根误差 (RMSE)。在计算这些指标时会排除缺失值。附录 E.2 中提供了这些指标的详细公式。我们在这两个数据集中观察到以下现象。 (1) 基于 RNN 的方法，包括 FC-LSTM 和 DCRNN，通常优于其他强调时间依赖性建模重要性的基线。 (2) DCRNN 在所有预测范围的所有指标上都取得了最佳性能，这表明了时空依赖建模的有效性。 (3) 基于深度神经网络的方法，包括 FNN、FC-LSTM 和 DCRNN，对于长期预测，例如提前 1 小时，往往比线性基线具有更好的性能。这是因为时间依赖性随着地平线的增长而变得越来越非线性。此外，由于历史平均法不依赖于短期数据，因此其性能不受预测范围内的小幅增长的影响。

请注意，在 METR-LA（以复杂的交通状况而闻名的洛杉矶）数据集上的交通预测比 PEMS-BAY（湾区）数据集中的交通预测更具挑战性。因此，我们使用 METR-LA 作为后续实验的默认数据集。

4.3 EFFECT OF SPATIAL DEPENDENCY MODELING

为了进一步研究空间依赖建模的效果，我们将 DCRNN 与以下变体进行了比较：

1）DCRNN-NoConv，它通过用单位矩阵替换扩散卷积（等式 2）中的转换矩阵来忽略空间依赖。这实质上意味着传感器的预测只能从其自身的历史读数中推断出来；
2）DCRNN-UniConv，仅使用前向随机游走转移矩阵进行扩散卷积；

图 3 显示了这三个模型在参数数量大致相同的情况下的学习曲线。如果没有扩散卷积，DCRNN-NoConv 的验证误差要高得多。此外，DCRNN 实现了最低的验证误差，这表明了使用双向随机游走的有效性。直觉是双向随机游走使模型能够灵活地捕捉来自上游和下游流量的影响。

为了研究图构造的效果，我们通过设置 Wij^=Wji^=max(Wij,Wji)\hat{W_{ij}} = \hat{W_{ji}} = max(W_{ij}, W_{ji})Wij^=Wji^=max(Wij,Wji) 来构造一个无向图，其中 cW 是新的对称权重矩阵。然后我们开发了一个 DCRNN 的变体表示 GCRNN，它使用 ChebNet 图卷积（方程 5）进行序列到序列学习，参数量大致相同。表 2 显示了 METR-LA 数据集中 DCRNN 和 GCRNN 之间的比较。 DCRNN 始终优于 GCRNN。直觉是有向图更好地捕捉交通传感器之间的不对称相关性。图 4 显示了不同参数的影响。 K 大致对应于过滤器接收域的大小，而单元数对应于过滤器的数量。较大的 K 使模型能够以增加学习复杂性为代价捕获更广泛的空间依赖性。我们观察到随着 K 的增加，验证数据集上的误差首先快速减小，然后略有增加。对于不同的单位数量，观察到类似的行为。

4.4 EFFECT OF TEMPORAL DEPENDENCY MODELING

为了评估包括序列到序列框架以及计划采样机制在内的时间建模的效果，我们进一步设计了 DCRNN 的三个变体：

1）DCNN：我们将历史观察结果连接为固定长度的向量并将其输入堆叠扩散卷积层来预测未来的时间序列。我们训练一个模型进行一步超前预测，并将先前的预测作为输入输入到模型中以执行多步超前预测。
2）DCRNN-SEQ：它使用编码器-解码器序列到序列学习框架来执行多步提前预测。
3）DCRNN：与 DCRNN-SEQ 类似，只是增加了计划采样。

图 5 显示了这四种方法在不同预测范围内的 MAE 的比较。我们观察到：

1）DCRNN-SEQ 在很大程度上优于 DCNN，这符合建模时间依赖性的重要性。
2）DCRNN取得了最好的结果，随着预测范围的增加，其优越性越来越明显。这主要是因为该模型经过训练可以在多步提前预测期间处理其错误，因此受到错误传播问题的影响较小。我们还训练了一个模型，该模型始终将其输出作为多步预测的输入。然而，它的性能比所有三个强调计划采样重要性的变体都要差得多。

4.5 MODEL INTERPRETATION

为了更好地理解模型，我们将预测结果和学习过滤器可视化。图 6 显示了提前 1 小时预测的可视化。我们有以下观察结果：

1）当交通速度中存在小幅振荡时，DCRNN 生成平均值的平滑预测（图 6（a））。这反映了模型的稳健性。
2）DCRNN 比基线方法（例如 FC-LSTM）更可能准确预测交通速度的突然变化。如图 6(b) 所示，DCRNN 预测高峰时段的开始和结束。这是因为 DCRNN 捕获了空间依赖性，并且能够利用邻域传感器的速度变化进行更准确的预测。

图 7 可视化了以不同节点为中心的学习过滤器的示例。星号表示中心，颜色表示权重。我们可以观察到

1）权重很好地定位在中心周围，
2）权重基于道路网络距离扩散。附录 F 中提供了更多可视化。

5 CONCLUSION

在本文中，我们将道路网络上的交通预测表述为一个时空预测问题，并提出了捕捉时空依赖关系的扩散卷积递归神经网络。具体来说，我们使用双向图随机游走来建模空间依赖和递归神经网络来捕捉时间动态。我们进一步集成了编码器-解码器架构和计划采样技术，以提高长期预测的性能。当在两个大型现实世界交通数据集上进行评估时，我们的方法获得了比基线更好的预测。对于未来的工作，我们将研究以下两个方面（1）将所提出的模型应用于其他时空预测任务；（2）对底层图结构演化时的时空依赖性进行建模，例如，移动对象的 K 最近邻图。

ACKNOWLEDGMENTS

APPENDIX

A NOTATION

B EFFICIENT CALCULATION OF EQUATION 2

C RELATION WITH SPECTRAL GRAPH CONVOLUTION

D MORE RELATED WORK AND DISCUSSION

E DETAILED EXPERIMENTAL SETTINGS

E.1 DATASET

E.2 METRICS

F MODEL VISUALIZATION

【时序】DCRNN：结合扩散卷积和GNN的用于交通流量预测的时空预测网络相关推荐

交通状态预测 | Python实现基于扩散卷积和GNN的交通流时空预测
交通状态预测 | Python实现基于扩散卷积和GNN的交通流时空预测目录交通状态预测 | Python实现基于扩散卷积和GNN的交通流时空预测基本介绍环境配置数据处理模型结构程序设计 ...
一文教你搞懂2D卷积和3D卷积
前言本人最近在搞毕设时发现自己一直会搞混2D卷积和3D卷积,于是在网上查阅了大量资料,终于明白了其中的原理.希望刷到这篇博客的小伙伴能够停下来静心阅读10分钟,相信你读完之后一定会有所收获. ...
手把手教你使用 1D 卷积和 LSTM 混合模型做 EEG 信号识别
本文是由CSDN用户[Memory逆光]授权分享.主要介绍了使用 1D 卷积和 LSTM 混合模型做 EEG 信号识别.感谢Memory逆光! 内容包括:1. 数据集(1.1 数据集下载.1.2 数据 ...
不用NAS，无需attention，只用3x3卷积和ReLU 的SOTA算法RepVGG
本文转载自知乎,已获作者授权转载. 链接:https://zhuanlan.zhihu.com/p/344324470 2020年B站年度弹幕是"爷青回".一定有很多瞬间,让你感觉 ...
merge卷积和bn层的原理
<merge卷积和bn层的原理> 这是一个在移动端非常实用的技巧,而且丝毫不会影响模型的精度,而提高模型的运算速度,就是把BN层离线的时候做好,放在权重值和偏执项中就可以了. Key ...
常规卷积，DW卷积和PW卷积的区别
常规卷积,DW卷积和PW卷积的区别转载于卷积神经网络中的Separable Convolution 卷积神经网络在图像处理中的地位已然毋庸置疑.卷积运算具备强大的特征提取能力.相比全连接又消耗更少的 ...
3d卷积和2d卷积1d卷积运算-CNN卷积核与通道讲解
全网最全的卷积运算过程:https://blog.csdn.net/Lucinda6/article/details/115575534?spm=1001.2101.3001.6661.1&u ...
多维时序 | MATLAB实现基于VMD-SSA-LSSVM、SSA-LSSVM、VMD-LSSVM、LSSVM的多变量时间序列预测对比
多维时序 | MATLAB实现基于VMD-SSA-LSSVM.SSA-LSSVM.VMD-LSSVM.LSSVM的多变量时间序列预测对比目录多维时序 | MATLAB实现基于VMD-SSA-LSS ...
图卷积神经网络笔记——第六章：（1）基于PyTorch的时序数据处理（交通流量数据）
在前面说了PyG这个框架,但是这个框架处理数据其实没那么简单,并且有时候我们想要改变底层的图卷积框架时就无能为力了,所以这一章说一下用PyTorch怎么写出图卷积并且实现交通流量数据的预测.但在这之前 ...
从零开始学视觉Transformer （8）：卷积和Transformer结合的ViT
Vision Transformer打卡营

【时序】DCRNN：结合扩散卷积和GNN的用于交通流量预测的时空预测网络