本文首发于公众号“圆圆的算法笔记”

解读两篇最新多元时间序列预测工作点关注，不迷路，用心整理每一篇算法干货~多元时间序列预测任务主要解决的是输入多变量时间序列，预测多变量未来序https://mp.weixin.qq.com/s?__biz=MzIyOTUyMDIwNg==&mid=2247485852&idx=1&sn=c38a799e96351bd07ebb489d1f45ecbf&chksm=e8402fbddf37a6ab8763bd34fe1831f2bf7c2c39018d0a9994dd0fc867eb0fa7b47d6a013db6&token=574176942&lang=zh_CN#rd

微信公众号“圆圆的算法笔记”，持续更新NLP、CV、搜推广干货笔记和业内前沿工作解读~

后台回复“交流”加入“圆圆的算法笔记”交流群；回复“时间序列“、”多模态“、”迁移学习“、”NLP“、”图学习“、”表示学习“、”元学习“等获取各个领域干货算法笔记~

多元时间序列预测任务主要解决的是输入多变量时间序列，预测多变量未来序列的问题，多变量的序列之间存在一定的相互影响关系。多元时间序列预测相比一般的单变量时间预测，如何在建模temporal关系的同时建立不同变量空间上的关系至关重要。今天给大家介绍两篇2022年8月份发表的最新多元时间序列预测工作，两篇工作均有开源代码。

两篇文章的概要分别如下。

论文1-Expressing Multivariate Time Series as Graphs with Time Series Attention Transformer：通过SMD将时间序列分解成多个IMF周期性序列+趋势项后，建立多变量之间的关系图，利用改进的Transformer实现节点信息、边关系、图结构三者信息融合进行预测。

论文2-Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecasting：通过引入id embedding的方式缓解历史趋势相同、未来趋势不同导致的样本无法区分问题。这种方式可以替代STGCN等引入图结构的复杂模型。

推荐阅读历史时间序列预测相关文章：

12篇顶会论文，深度学习时间序列预测经典方案汇总

Spatial-Temporal时间序列预测建模方法汇总

最新NLP Prompt代表工作梳理！ACL 2022 Prompt方向论文解析

1. 论文1-多元序列转换为图进行预测

论文题目：Expressing Multivariate Time Series as Graphs with Time Series Attention Transformer
下载地址：https://arxiv.org/pdf/2208.09300v1.pdf
开源代码：https://github.com/radiantresearch/tsat

这篇工作的核心主要包括多变量序列构图和Transformer改进两个部分。

在多变量序列构图中，首先通过SMD对原时间序列进行分解，再根据SMD提取出的特征信息进行构图。SMD是经验模态分解的一种方法，它可以将原始的序列拆分成多个序列加一个趋势项，分解出来的序列叫作IMF（内涵模态分量）。IMF是有一定要求的，如极值点的个数和过零点的个数必须相等或相差最多不能超过一个、局部极大值点形成的上包络线和由局部极小值点形成的下包络线的平均值为零等。通过SMD可以把原始序列拆分成多个子序列，这些子序列会作为后续建模的重要特征。EMD分解有比较成熟的python包emd，大家可以自行体验一下分解结果。

在得到每个序列的IMF后，下一步是根据IMF进行构图。每个变量作为一个节点，节点的特征是该变量的时间序列。每两个节点之间都有边特征，边特征是根据两个序列各个IMF分解结果分别计算的相似度，公式如下，计算第i和第j个节点中第k个IMF的相似度：

在邻接矩阵的构造上，文中计算两两节点序列趋势项对应序列的相似度，当相似度大于一定阈值时，这两个序列建立边，通过这种方式将具有相似趋势的变量连接起来。

第二个核心点是Transformer模型的应用。首先对于每个节点使用一个RNN生成embedding，这和我们之前介绍过的Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting（2019）相同，通过RNN的时序建模能力取代position embedding，增强Transformer对序列中各个点位置关系的感知。

本文将self-attention模块的计算方法修改为如下公式，同时考虑节点序列信息、节点间关系信息、图结构信息：

其中第一项就是传统Transformer对每个节点时间序列内部进行self-attention；第二项是引入每个IMF对应边特征的信息，第三项是将邻接矩阵的信息引入。经过多层Transformer后通过layer norm和全连接输出预测结果。

文中在经典的多元序列预测上进行实验，对比了一些图学习模型、深度学习模型的效果，实验结果如下：

2. 论文2-id特征代替复杂图模型

论文题目：Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecasting
开源代码：https://arxiv.org/pdf/2208.05233v2.pdf
开源代码：https://github.com/zezhishao/STID

本文的是CIKM 2022上发表的一篇短文，出发点是一个很简单的现象：历史规律相同的序列，未来的曲线可能不同，导致模型难以只根据历史序列作为不同的预测。比如下面这个例子，最上面的图选取了3个不同的窗口W，P代表历史，F代表未来。W1是空间中两个传感器的变量历史和未来的序列，这两个传感器历史序列基本相同，未来的差异却很大，只根据历史序列拟合一个回归模型是无法建立这种区别的。

以往解决图学习的模型，例如STGCN中，利用图卷积建立空间不同节点之间的关系，同时使用时序模型进行时序建模。这种方式带来效果提升的原因，主要在于引入了卷积带来的了不同节点相同历史序列但是不同未来序列的区分能力。本文认为直接通过加入id embedding的方式就能解决这个问题，因此设计了如下结构：将序列的id、时间信息的id等转换成embedding，和时间序列模型生成的序列表示拼接到一起，用于后续的预测。

从下面的实验结果来看，这种简单的方法效果比之前很多图模型的效果都好：

从下面的消融实验中可以看到，加入每个序列的id embedding对效果影响非常大：

3. 总结

本文介绍了两篇近期发表的多元时间序列预测模型文章，第一篇通过SMD分解原序列建立各个节点的空间关系，并改造Transformer融合时序信息、节点关系信息、图结构信息。第二篇通过简单的引入id embedding的方式达到了和复杂图时空预测模型相当的效果。

解读两篇最新多元时间序列预测工作相关推荐

多元时间序列预测之（一）DA-RNN模型
文章目录前言 DA-RNN论文解读 1. 问题定义 2. 模型解读 2.1 输入注意力机制 2.2 编码器 2.3 时间注意力层 2.4 解码器前言多元时间序列预测,又称多变量时间预测,指对一个 ...
多元时间序列预测之LSTM的实现
多元时间序列预测之LSTM的实现 keras简单介绍多变量LSTM预测模型本文使用keras库实现基于LSTM的多元时间序列预测问题.所谓多元时间序列预测,是指根据多个变量之间的关系预测他们下一时 ...
NeuralProphet之六：多元时间序列预测
时间序列论文: NeuralProphet: Explainable Forecasting at Scale NeuralProphet之一:安装与使用 NeuralProphet之二:季节性(Se ...
原理+论文+实战：60篇由浅入深的时间序列预测/分类教程汇总
时间序列预测模型顶会论文资源汇总(2022.04.04更新) 包含时间序列预测,时间序列分类,时间序列异常检测,时空预测,时序推荐等领域的热门模型,以及Transformer应用于时间序列分析的变体和 ...
affectnet数据集_处理表情识别中的坏数据：一篇CVPR 2020及两篇TIP的解读
机器之心分析师网络作者:周宇编辑:Joni Zhong 本篇提前看重点关注 CVPR 2020 中的这篇「Suppressing Uncertainties for Large-Scale Fac ...
论文阅读【时间序列预测2】TACTiS: Transformer-Attentional Copulas for Time Series
[代码]https://github.com/ServiceNow/tactis [发表]ICML 2022 [领域]时间序列预测 TACTiS: Transformer-Attentional Co ...
CNN做时间序列预测_深度学习与时间序列预测
论文下载地址: N-BEATS: Neural basis expansion analysis for interpretable time series forecastingarxiv.org ...
【时序】时间序列预测真的需要深度学习吗？
论文名称:Do We Really Need Deep Learning Models for Time Series Forecasting 论文下载:https://arxiv.org/abs/2 ...
使用 LSTM 进行多变量时间序列预测的保姆级教程
来源:DeepHub IMBA 本文约3800字,建议阅读10分钟本文中我们将使用深度学习方法 (LSTM) 执行多元时间序列预测. 使用 LSTM 进行端到端时间序列预测的完整代码和详细解释. 我们 ...

解读两篇最新多元时间序列预测工作

1. 论文1-多元序列转换为图进行预测

2. 论文2-id特征代替复杂图模型

3. 总结

解读两篇最新多元时间序列预测工作相关推荐

最新文章

热门文章