Autoformer: 基于深度分解架构和自相关机制的长期序列预测模型
本文介绍本组时间序列预测方向的最新工作:Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting。
论文链接:
https://arxiv.org/abs/2106.13008
论文作者:
吴海旭,徐介晖,王建民,龙明盛
引言
时间序列预测已经被广泛用于能源、交通、气象等众多领域。在实际应用中,尽可能延长预测时效是一个迫切的需求,如能源、交通的长期规划,和气象灾害的早期预警等。
因此,我们探索了长期时间序列预测问题:待预测的序列长度远远大于输入长度,即基于有限的信息预测更长远的未来。上述需求使得此预测问题极具挑战性,对于模型的预测能力及计算效率有着很强的要求。
分析
之前基于Transformer的时间序列预测模型,通过自注意力机制(self-attention)来捕捉时刻间的依赖,在时序预测上取得了一些进展。但是在长期序列预测中,仍存在不足:
长序列中的复杂时间模式使得注意力机制难以发现可靠的时序依赖。
基于Transformer的模型不得不使用稀疏形式的注意力机制来应对二次复杂度的问题,但造成了信息利用的瓶颈。
为突破上述问题,我们全面革新了Transformer,并提出了名为Autoformer的模型,主要包含以下创新:
突破将序列分解作为预处理的传统方法,提出深度分解架构(Decomposition Architecture),能够从复杂时间模式中分解出可预测性更强的组分。
基于随机过程理论,提出自相关机制(Auto-Correlation Mechanism),代替点向连接的注意力机制,实现序列级(series-wise)连接和
复杂度,打破信息利用瓶颈。
在长期预测问题中,Autoformer在能源、交通、经济、气象、疾病五大时序领域大幅超越之前SOTA,实现38% 的相对效果提升。
Autoformer
我们提出的Autoformer全面革新Transformer为深度分解架构,包括内部的序列分解单元、自相关机制以及对应的编-解码器。
深度分解架构
时间序列分解是指将时间序列分解为几个组分,每个组分表示一类潜在的时间模式,如周期项(seasonal),趋势项(trend-cyclical)。由于预测问题中未来的不可知性,通常先对过去序列进行分解,再分别预测。但这会造成预测结果受限于分解效果,并且忽视了未来各个组分之间的相互作用。
我们提出深度分解架构,将序列分解作为Autoformer的一个内部单元,嵌入到编-解码器中。在预测过程中,模型交替进行预测结果优化和序列分解,即从隐变量中逐步分离趋势项与周期项,实现渐进式分解。
序列分解单元(series decomposition block)基于滑动平均思想,平滑周期项、突出趋势项:其中,
为待分解的隐变量,分别为趋势项和周期项,我们将上述公式记为。我们将上述序列分解单元嵌入Autoformer层间。
编码器: 在Encoder部分,我们逐步消除趋势项(这部分会在Deocder中通过累积得到),得到周期项
,。而基于这种周期性,我们设计自相关机制,聚合不同周期的相似子过程,实现信息聚合:
解码器: 在Decoder部分,我们对趋势项与周期项分别建模。其中,对于周期项,自相关机制利用序列的周期性质,聚合不同周期中具有相似过程的子序列;对于趋势项,我们使用累积的方式,逐步从预测的隐变量中提取出趋势信息(最后一行):
基于上述渐进式分解架构,模型可以在预测过程中逐步分解隐变量,并通过自相关机制、累积的方式分别得到周期、趋势组分的预测结果,实现分解、预测结果优化的交替进行、相互促进。
自相关机制
我们提出自相关机制来实现高效的序列级连接,从而扩展信息效用。观察到,不同周期的相似相位之间通常表现出相似的子过程,我们利用这种序列固有的周期性来设计自相关机制,其中,包含基于周期的依赖发现(Period-based dependencies)和时延信息聚合(Time delay aggregation)。
基于周期的依赖发现: 基于随机过程理论,对于实离散时间过程
,我们可以如下计算其自相关系数:
其中,自相关系数
表示序列与它的延迟之间的相似性。我们将这种时延相似性看作未归一化的周期估计的置信度,即周期长度为的置信度为。
时延信息聚合: 为了实现序列级连接,我们需要将相似的子序列信息进行聚合。我们这里依据估计出的周期长度,首先使用
操作进行信息对齐,再进行信息聚合,我们这里依然使用query、key、value的形式,从而可以无缝替代自注意力机制。
这里,我们挑选最有可能的
个周期长度,用于避免挑选到无关、甚至相反的相位。在Autoformer中,我们使用多头(multi-head)版本(图3)。
高效计算: 基于Wiener-Khinchin理论,自相关系数
可以使用快速傅立叶变换(FFT)得到,计算过程(图3)如下:
其中,
和分别表示FFT和其逆变换。因此,自相关机制的复杂度为。
对比分析: 相比于之前的注意力机制或者稀疏注意力机制,自注意力机制(Auto-Correlation Mechanism)实现了序列级的高效连接,从而可以更好的进行信息聚合,打破了信息利用瓶颈。
实验
我们在6个数据集上进行了模型验证,涵盖能源、交通、经济、气象、疾病五大领域。更多基准模型和结果请见论文。
Autoformer在所有数据集、各种输入-输出长度的设置下,取得了最优(SOTA)结果。
数据集 | 相比之前SOTA,MSE提升 |
---|---|
ETT | 74%(1.3340.351) |
Electricity | 24%(0.2800.213) |
Exchange | 64%(1.3570.488) |
Traffic | 14%(0.7330.634) |
Weather | 26%(0.4550.335) |
ILI | 30%(4.5833.227) |
其中,前五个数据集指标为输入96预测336设置,ILI数据集为输入24预测60设置。在上述6个数据集的设置下,Autoformer在MSE指标上平均提升38%。
对比实验
深度分解架构: 我们将提出的深度分解架构具有较好通用性,可以应用于其他基于Transformer的模型,均可以得到明显提升,且随着预测时效的延长,效果提升更明显。
我们也对比了深度分解架构和先分解再使用两个模型分别预测的方式,后者虽然有更多的参数、更大的模型,但是受限于前述原因,我们的深度分解依然优于预处理用法。
自相关机制 vs. 自注意力机制: 我们在众多输入-输出设置下,对比了自相关机制与各种自注意力机制,比如,经典Transformer中Full Attention,Informer中PropSparse Attention等。我们提出的自相关机制依然取得了最优的结果。
模型分析
渐进式分解效果: 随着序列分解单元的数量增加,模型的学到的趋势项会越来越接近数据真实结果,周期项可以更好的捕捉序列变化情况,这验证了渐进式分解的作用。
时序依赖可视化: 通过对比可以发现,Autoformer中自相关机制可以正确发掘出每个周期中的下降过程,并且没有误识别和漏识别,而自注意力机制存在错误和缺漏。
效率分析: 在显存占用和运行时间两个指标上,自相关机制均表现出了优秀的空间时间效率,两个层面均超过自注意力机制,表现出高效的
复杂度。
总结
针对长时序列预测中的复杂时间模式难以处理与运算效率高的问题,我们提出了基于深度分解架构和自相关机制的Autoformer模型。通过渐进式分解和序列级连接,大幅提高了长时预测效率。
同时,Autoformer在能源、交通、经济、气象、疾病五大主流领域均表现出了优秀的长时预测结果,模型具有良好的效果鲁棒性,具有很强的应用落地价值。
欢迎感兴趣的朋友阅读我们的论文查看更多细节内容。
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
???? 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
???? 投稿通道:
• 投稿邮箱:hr@paperweekly.site
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
????
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。
Autoformer: 基于深度分解架构和自相关机制的长期序列预测模型相关推荐
- 基于深度学习的智能问答
摘要: 纵观自动问答系统的技术发展历史,从1950年代因图灵测试而诞生至今,已经有几十年的历史.但真正在产业界得到大家的广泛关注,则得益于2011年Siri和Watson成功所带来的示范效应.自此,自 ...
- 基于深度学习的视觉里程计算法
基于深度学习的视觉里程计算法 介绍 近年来,视觉里程计广泛应用于机器人和自动驾驶等领域,传统方法求解视觉里程计需基于特征提取.特征 匹配和相机校准等复杂过程,同时各个模块之间要耦合在一起才能达到较好的 ...
- 【深度分解网络:显著性分析:IVIF】
Infrared and Visible Image Fusion Based on Deep Decomposition Network and Saliency Analysis (基于深度分解网 ...
- 基于深度学习的农作物病虫害识别系统
1 简介 今天向大家介绍一个帮助往届学生完成的毕业设计项目,基于深度学习的农作物病虫害识别系统. ABSTRACT 及时.准确地诊断植物病害,对于防止农业生产的损失和农产品的损失或减少具有重要作用.为 ...
- 基于深度学习特征的植物病虫害检测
ABSTRACT 及时.准确地诊断植物病害,对于防止农业生产的损失和农产品的损失或减少具有重要作用.为了解决这类问题,可以使用基于机器学习的方法.近年来,在图像处理中应用尤其广泛的深度学习为精准农业 ...
- NLP实操手册: 基于Transformer的深度学习架构的应用指南(综述)
翻译来自百分点认知智能实验室 易显维 桂安春 本文翻译自The NLP Cookbook: Modern Recipes for Transformer based Deep Learning Arc ...
- 综述:如何构建交通领域的基于图的深度学习架构
How to Build a Graph-Based Deep Learning Architecture in Traffic Domain: A Survey 论文简介 摘要 本文贡献 相关工作 问 ...
- 基于深度学习的图像语义分割技术概述之背景与深度网络架构
本文为论文阅读笔记,不当之处,敬请指正. A Review on Deep Learning Techniques Applied to Semantic Segmentation: 原文链接 摘要 ...
- 学习分享——基于深度学习的NILM负荷分解(一)对DL的看法准备工作
好啦,我来填坑啦哈哈 经过了几个月的对深度学习的学习.了解和实践, 对于用深度学习来做NILM的经验也是积累了不少. 在此,做以小结. 在此,感谢~柳柳,小张,小田,小刘的支持和鼓励. 话不多说,下面 ...
最新文章
- 图解:数据结构中的6种「树」,柠檬问你心中有数吗?
- 迷你图标集大集合:5000+ 30套免费的图标(不得不下,设计必备)
- bucket sort sample sort 并行_双调排序Bitonic Sort,适合并行计算的排序算法
- 【Touchinput 】创建一个输入法(19)
- 2020年10月DB-Engines排行:商业开源平分秋色 并驾齐驱四大天王
- Media Player 嵌套网页中播放上传视频记录
- 记忆碎片---搭建php+apache+eclipse中的问题
- 计算机杀毒记录表格,11科室计算机杀毒登记表
- ApacheCon Asia 2021 重磅开启!流处理专题 Call for Speaker
- 系统自带不起眼但很强杀毒工具
- linux删除蓝色文件夹,linux删除文件报错
- Axure中引入Echarts图表并制作元件库
- FileHandler文件处理
- 管理会计习题集及答案 5-7章
- 详解MATLAB之MAX函数
- [SSD大法好]神舟K480-I5-D3鸟枪换炮M6S
- 前端代码为什么会有低代码及无代码
- 使用CoreImage实现素描滤镜
- 中测院能耗管理系统的设计及应用
- 定时任务多线程-springboot
热门文章
- 百度一款前端图片合成工具库MI开源啦!
- html 按需加载插件,htmlwebpackplugin
- C语言在main中输入2个整数ab,2014年计算机等级二级C语言程序设计习题
- 频率域滤波matlab函数,频率域滤波(2) - osc_t0xmr011的个人空间 - OSCHINA - 中文开源技术交流社区...
- c#如何跳出一个函数_C#初学者教程系列9:类和对象
- swoole基础01
- 数据库综合系列 之 存储过程
- SAP PP顾问面试题及资料
- bootstrap源码分析之Carousel
- linux中怎样进入桌面目录,linux – 如何获得给定用户“桌面路径”