pyraformer: low-complexity pyramidal attention for long-range time series modeling and forecasting

以时间序列数据为基础，对过去的未来进行准确的预测是至关重要的，因为这为提前进行决策和风险管理打开了大门。在实践中，挑战是构建一个灵活但简洁的模型，可以捕获广泛的时间依赖性。在这篇论文中，我们通过探索时间序列的多分辨率表示来提出Pyraformer。具体地，我们引入了金字塔注意模块(PAM)，其中尺度间树结构总结了不同分辨率的特征，尺度内邻近连接模型模拟了不同范围的时间依赖性。在温和的条件下，Pyraformer中信号遍历路径的最大长度是序列长度L的一个常数(即O(1))，大量的数值结果表明，Pyraformer在单步和长距离多步预测任务中以最少的时间和内存消耗获得了最高的预测精度，特别是在序列较长的情况下。完整的代码将在发布时提供。

背景：低时间和空间复杂性

方案：我们提出了一种新颖的基于金字塔注意的变压器(Pyraformer)，以弥补捕捉远程依赖和实现低时间和空间复杂性之间的差距。具体来说，我们发展了金字塔注意机制，即在金字塔图中传递基于注意的信息。该图中的边可以分为两组:尺度间连接和尺度内连接。

尺度间连接建立了原始序列的多分辨率表示。尺度内边缘通过连接相邻节点来获取每个分辨率的时间相关性。

框架：

我们首先将观测数据、协变量和位置分别嵌入，然后将它们相加，与Informer方法相同。接下来，我们使用粗尺度构造模块(CSCM)构建了一棵多分辨率C-ary树，其中粗尺度上的节点汇总了相应细尺度上C节点的信息。为了进一步捕获不同范围的时间依赖性，我们引入了金字塔注意模块(PAM)，利用金字塔图中的注意机制传递消息。最后，根据下游的任务，我们使用不同的网络结构来输出最终的预测

PYRAMIDAL ATTENTION MODULE (PAM)

我们可以将金字塔图分解为两个部分:尺度间的联系和尺度内的联系。尺度间的连接形成一个C-ary树，其中每个父节点都有C个子节点。金字塔图提供了原始时间序列的多分辨率表示。此外，通过尺度内的连接简单地连接相邻节点，更容易捕获较粗尺度上的远程依赖关系(例如，月依赖关系)

COARSER-SCALE CONSTRUCTION MODULE (CSCM)

CSCM的目标是在金字塔图的粗尺度上初始化节点，以便于后续PAM在这些节点之间交换信息。在时间维度上对嵌入序列依次应用核大小为C和步长为C的几个卷积层，得到尺度为s的长度为L/Cs的序列。

4 EXPERIMENTS

4.2.1 SINGLE-STEP FORECASTING

我们在三个数据集上进行了单步预测实验:electric, Wind和App Flow。历史长度分别为169,192和192

我们的实验结果表明，Pyraformer在NRMSE和ND方面优于Transformer及其变体，且Q-K对的数量最少。

4.2.2 LONG-RANGE MULTI-STEP FORECASTING

我们评估了Pyraformer在三个数据集:Electricity、ETTh1和ETTm1上的长期预报性能。特别是对于ETTh1和etm1，我们同时预测了未来油温和6个电力负荷特征，这是一个多元时间序列预测问题。很明显，对于所有的数据集，Pyraformer都能以最少的Q-K对获得最好的性能，无论预测长度如何

pyraformer: low-complexity pyramidal attention for long-range time series modeling and forecasting相关推荐

【LE AUDIO】LC3 - Low Complexity Communication Codec
[未完成,先提交后面再改...有兴趣可以先参考我上传的文档 LC3_Spec_v1.0] [刚刚上传了从 Spec v5.2 整理的 LE_Audio 相关知识框架,就当是 Spec 读后感吧... ...
论文翻译：2021_DeepFilterNet: A Low Complexity Speech Enhancement Framework for Full-Band Audio based on
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/cou ...
【阅读笔记】PSA-GAN PROGRESSIVE SELF ATTENTION GANS FOR SYNTHETIC TIME SERIES
CCF none , ICLR2022 Paul J , Michael B S , Pedro M , et al. PSA-GAN: Progressive Self Attention GANs ...
GeoMAN: Multi-level Attention Networks for Geo-sensory Time Series Prediction
GeoMAN: Multi-level Attention Networks for Geo-sensory Time Series Prediction 大量的传感器被部署在不同的地理空间位置,以持 ...
signature=d35ee78c71b9950dc8dfdc350316e389,Low complexity encoder and decoder
摘要: In one embodiment of the present invention, the efficiency of an encoder can be maintained while ...
2022-3-21至2022-3-27周报
文章目录摘要文献阅读一 Pyraformer: Low-Complexity Pyramidal Attention for Long-Range Time Series Modeling an ...
2022年的有关语义分割的论文，含CVPR、ECCV、ICLR、AAAI
TransRAC: Encoding Multi-scale Temporal Correlation with Transformers for Repetitive Action Counting ...
Are Transformers Effective for Time Series Forecasting论文全文翻译
Transformers对时间序列预测有效吗? 摘要最近,针对长期时间序列预测(LTSF)任务的基于Transformer的解决方案激增.尽管在过去几年中取得了越来越大的成绩,但我们对这项工作中这 ...
【时序】应用于时间序列的 Transformer 综述论文笔记
论文名称:Transformers in Time Series: A Survey 论文下载:https://arxiv.org/abs/2202.07125 论文源码:https://github ...
Attention专场——（2）Self-Attention 代码解析
文章目录 1. 参考资料 2. 模型架构 2.1 Encoder and Decoder Stacks 2.1.1 通用类 2.1.1.1 层的复制函数 2.1.1.2 LayerNorm类 2.1. ...

pyraformer: low-complexity pyramidal attention for long-range time series modeling and forecasting

pyraformer: low-complexity pyramidal attention for long-range time series modeling and forecasting

pyraformer: low-complexity pyramidal attention for long-range time series modeling and forecasting相关推荐

最新文章

热门文章