论文下载地址:

N-BEATS: Neural basis expansion analysis for interpretable time series forecasting​arxiv.orgMeta-learning framework with applications to zero-shot time-series forecasting​arxiv.org

code：https://github.com/forecasts-and-nn/n-beats

• 深度学习时间序列预测个人解读

网络结构: 用于时间序列预测的深度学习网络结构包括基于CNN的结构，基于RNN的结构与基于attention的结构。以上述三种结构为基础形成许多的变式, 知乎上讲解的蛮多的，这里不做过多解释。

预测目标：时间序列预测的目标，可以分为值预测与概率预测。值预测就是直接输出预测的值。概率预测不止输出预测的值，也会输出预测值的分布，举一个亚马逊的货物需求预测案例，与直接去预测未来具体的需求值不同，概率预测则预测未来需求值的分布(置信区间)。需求预测是为补货服务的。得到具体的预测值后，补货只需要在预测值上加安全库存。以往的补货的安全库存基于简单的需求正态分布假设，而概率预测中基于过去的数据拟合了更好的概率分布，更好地服务于补货。像这种情况下基于概率分布的预测会更加合理。

未来展望：在深度学习时间序列的发展方面，大概有三个方向，第一是在网络设计中加入领域知识，第二是时间序列模型的可解释性, 第三是时间序列的异常检测与因果推断。

• 深度学习ICLR最新论文解读

在金融领域，时间序列是一个非常重要的构成部分。量化投资领域时间序列预测，有兴趣可翻看之前分享过的KDD融合基金经验的机器学习量化投资建模论文解读，作者将LSTM与股票时间序列进行结合，并且引入graph learning, matrix factorization等技术进行股票投资组合构建。同样，客户违约预测的时间序列预测KDD金融应用论文-信用评估， 将LSTM应用于用户的信用评分中。其他的，还有交易反欺诈，理财产品销量预测，基金相关性预测，资产储备情况预测等等，后续会陆续分享。

本文介绍Bengio团队的两篇单变量时间预测的论文，N-BEATS的文章发表于ICLR2020中，Meta-learning+N-BEATS的文章目前在arxiv中开源。N-BEATS文章第一次提出一种可解释的深度学习时间序列预测架构。Meta-learning+N-BEATS论文则进一步在原始N-BEATS模型上引入元学习机制进行zero-shot的时间序列预测。注意两篇论文都是关于单变量时间预测的，实际问题很多是多变量时间预测，论文中好多思想对多变量时间预测同样具有借鉴意义，有兴趣的朋友可以尝试扩展至多变量时间序列预测。

论文一： N-BEATS网络

该网络实现单变量多对多预测，网络结构有两个作用，一个叫复原，一个是预测，复原的作用是进行有效的时间序列特征提取，发挥深度学习自动特征学习的优势。整个网络的Block的设计与迭代决策树的思想类似，用网络学习残差，先让神经网络学习简单的规律，再学习复杂的规律。

Block内部结构：每个block分为两部分，第一部分用于生成后项展开系数(backward expansion coefficients)和前项展开系数(forward expansion coefficients)，原始时间序列输入经过四层全连接后，经过线性投影层生成后项展开系数

和前项展开系数

，线性投影层就是简单的线性变换，例如

。

第二部分将后项展开系数

和前项展开系数

通过basis layers输出结果

Block间连接：不同bock之间通过残差模块进行衔接。公式如下所示，其实就是下一个block目标是学习上一个block转换得到的残差。

模型可解释性：

在可解释性层面，作者提出两种结构，一种generic architecture不依赖于特定经验知识，该变化可以看做在时间的波形重建，由于没有额外的限制在

上 ，导致生成的

解释性比较差。另一种则通过引入专家经验来满足可解释性要求，即通过引入时间序列的趋势性(trend)和季节性(seasonality)来实现可解释性。具体方法为人为设定与

相乘的

矩阵使得该矩阵满足趋势性和季节性的要求。这方面带来的启示是，

可以通过设计相乘矩阵的数值形式来实现专家经验的引入。

模型集成：最后通过两种类型的ensemble进行结果的输出,SMAPE, MASE和MAPE, SPAME四种优化目标融合，以及不同时间窗口进行融合。

论文二：基于meta Learning的N-BEATS网络

Meta_learning通俗流程： 首先 meta初始化参数

，得到任务

的初始化参数

，然后会进行多轮迭代，最后按照bayesian ebsemble 或者weighted sum进行结果汇总。得到最终概率分布函数，基于此确定更新后的meta-parameters。 而meta-parameters

包括三部分，用于meta初始化函数的t参数，用于任务共享的predictor参数w, 和用于meta更新函数的u参数。predictor由

进行初始化 ， 而meta参数

用来生成

。

Meta_learning在N-BEATS上应用：

该任务采用meta-learning方法利用别的任务的数据训练n-beats，使得在新的目标任务中不需要重新训练即可满足需求。

N-BEATS的公式可以简写如下:

上式中，每个N-BEATS的block都是 meta-learning 的inner loop,而predictor就是

,与函数

和函数

相关的参数

和

就是outer loop学习的meta参数

.基于meta参数形成每个task的参数

，

用于调整每个iteration的predictor输入。meta learning的更新公式如下，可以看到，在inner loop更新中，用于复原任务的转换参数

是各个子任务所独有的，需要训练更新参数，用于预测任务的参数

在predictor和update function是共享的，也就是inner loop和outer loop都会有更新。

欢迎交流!