FEDformer: Frequency Enhanced Decomposed Transformer for Long-termSeries Forecasting（ICML2022）

尽管基于transformer的方法显著改善了长期序列预测的最新结果，但它们不仅计算成本高，更重要的是，无法捕捉时间序列的全局视图(例如总体趋势)。为了解决这些问题，我们建议将Transformer与季节趋势分解方法相结合，其中分解方法捕获时间序列的全局剖面，而Transformer则捕获更详细的结构。为了进一步增强Transformer在长期预测中的性能，我们利用了大多数时间序列往往在众所周知的基(如傅里叶变换)中具有稀疏表示的事实，并开发了一种频率增强Transformer。该方法被称为频率增强分解变压器(FEDformer)，除具有更高的效率外，还具有比标准变压器更高的效率，其复杂度与序列长度成线性关系。在6个基准数据集上的实证研究表明，与最新的方法相比，FEDformer对多变量和单变量时间序列的预测误差分别降低了14.8%和22.6%。

总结：文中的创新点1）将时间序列中的频域部分和transformer结合在一起，实现时间序列的预测；2）文中同时考虑了解封时间序列，提取趋势项实现预测。但是对于频率很高的时间序列而言，提取时间序列的频域信息，导致较高的时间复杂度和成本，同时会产生大量的冗余信息。

问题：主要关注在降低transformer的计算成本与内存

方法：1）采用季节趋势分解方法；2）将傅里叶分析与基于变压器的方法相结合。

Combining both ideas, we propose a Frequency Enhanced Decomposition Transformer, or, FEDformer for short, for long-term time series forecasting.

框架：

FEDformer Framework

including Frequency Enhanced Block (FEB), Frequency Enhanced Attention (FEA) connecting encoder and decoder, and the Mixture Of Experts Decomposition block (MOEDecomp).

1）Mixture of Experts for Seasonal-Trend Decomposition

混合专家分解块(MOEDecomp)。它包含一组不同大小的平均滤波器，从输入信号中提取多个趋势分量，以及一组数据相关的权重，将它们组合成最终的趋势。形式上,我们有

2）Fourier Enhanced Structure

(FEB-f)

(FEA-f)

Experiments

为了评估提出的federformer，我们在6个流行的真实世界数据集上进行了广泛的实验，包括能源、经济、交通、天气和疾病。

我们主要包括四种最先进的基于变压器的模型进行比较，即Autoformer (Wu等人，2021年)、Informer (Zhou等人，2021年)、LogTrans (Li等人，2019年)和Reformer (Kitaev等人，2020年)作为基准模型。

FEDformer: Frequency Enhanced Decomposed Transformer for Long-termSeries Forecasting（ICML2022）相关推荐

论文笔记：FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting
2022 ICML 1 Intro 长时间序列问题是一个研究很广泛的问题 RNN以及变体会遇到梯度消失/梯度爆炸,这会在很大程度上限制他们的表现 Transformer的方法会导致很高的计算复杂度,以 ...
Timestamp Encoding FEDformer_ Frequency Enhanced Decomposed Transformer for Long-term Series Forecas
FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting Transformer-ba ...
【李宏毅机器学习】TransFormer框架基础储备知识（p51）学习笔记 | 全程手码，放心食用
全文总结于哔哩大学的视频:李宏毅2020机器学习深度学习(完整版)国语 2020版课后作业范例和作业说明在github上:点击此处李宏毅上传了2020版本的机器学习视频和吴恩达的CS229机器学习相 ...
【3D点云】PersFormer：基于透视Transformer的3D车道检测（ECCV2022）
文章目录前言一.引言三点贡献: 二.相关工作三.方法论 0.问题公式 1.方法概述 2.透视Transformer 3.同时进行二维和三维车道检测 4.预测损失四. OpenLane 数据集 ...
Unifying Voxel-based Representation with Transformer for 3D Object Detection （UVTR）论文笔记
原文链接:https://arxiv.org/abs/2206.00630 1.引言统一表达对多模态的知识迁移和特征融合是必不可少的. 目前的统一表达可大致分为输入级和特征级的.输入级方法在网络开始 ...
IQT：使用Transformer进行感知图像质量评估（CVPRW）
目录
Transformer家族5 -- 推理加速（Faster-Transformer、TurboTransformers）
系列文章,请多关注 Transformer家族1 – Transformer详解和源码分析 Transformer家族2 – 编码长度优化(Transformer-XL.Longformer) Tra ...
Pyramid Vision Transformer（PVT）: 纯Transformer设计，用于密集预测的通用backbone
论文地址:https://arxiv.org/pdf/2102.12122.pdf 官方代码:https://github.com/whai362/PVT 目录 0.摘要 1.引言 2.相关工作 2. ...
LET: Linguistic Knowledge Enhanced Graph Transformer for Chinese Short Text Matching学习笔记
文章目录 1. 背景与相关技术 1.1 解决的问题与方法 1.2 HowNet 1.3 Word lattice graph 1.4 Graph attention networks 2. LET 2 ...

FEDformer: Frequency Enhanced Decomposed Transformer for Long-termSeries Forecasting（ICML2022）

FEDformer: Frequency Enhanced Decomposed Transformer for Long-termSeries Forecasting（ICML2022）相关推荐

最新文章

热门文章