EXIT: Extrapolation and Interpolation-based Neural Controlled Differential Equations for Time-series

受微分方程启发的深度学习是最近的研究趋势。其中，利用神经控制微分方程(NCDEs)建立时间序列模型是一种突破。在许多情况下，基于ncde的模型不仅比递归神经网络(RNNs)提供了更好的精度，而且使处理不规则时间序列成为可能。在这项工作中，我们通过重新设计其核心部分，即从离散的时间序列输入生成连续路径，来增强NCDEs。NCDEs通常使用插值算法将离散的时间序列样本转换为连续的路径。然而，我们建议i)使用编码器-解码器架构生成另一个潜在的连续路径，这与NCDEs的插补过程相对应，即我们基于神经网络的插补与现有的显式插补相对应，ii)利用解码器的生成特性，即如果需要，可以超越原始数据的时域外推。因此，我们的NCDE设计可以在下游机器学习任务中同时使用插值和外推信息。在我们对5个真实数据集和12个基线的实验中，我们基于外推和内插的ncde比现有基线的性能要好得多。

背景：1）NODEs and NCDEs recently proposed breakthrough methods to process time-series data 2）NODEs and NCDEs assume continuous time and therefore, they are robust to irregular time-series data

框架：

In this paper, we extend the interpolation-based NCDE model to an EXtrapolation and InTerpolation-based model, called EXIT-NCDE. 我们的方法使用编码器-解码器架构从X构建另一个潜在路径Y。解码器创建的路径Y对其时间域没有限制，而X只能在[0,T]中定义。

1.积分区间在

PROPOSED METHOD

we let our encoder-decoder networks create another latent path Y (from X) whose time domain is unlimited, i.e., [0, ∞]

Encoder-Decoder to Build Latent Path Y

our proposed NCDE framework relies on both the interpolation (when τend ≤ T) and the extrapolation (when τend > T).

1）How to train τ-start, τ-end

实验

EXIT: Extrapolation and Interpolation-based Neural Controlled Differential Equations for Time-series相关推荐

NIPS2018最佳论文解读：Neural Ordinary Differential Equations...
雷锋网 AI 科技评论按,不久前,NeurIPS 2018 在加拿大蒙特利尔召开,在这次著名会议上获得最佳论文奖之一的论文是<Neural Ordinary Differential Equat ...
【论文夜读】陈天琦神作Neural Ordinary Differential Equations(NuerIPS2018最佳paper)
[论文夜读]陈天琦神作Neural Ordinary Differential Equations(NuerIPS2018最佳paper) 在最近结束的 NeruIPS 2018 中,来自多伦多大学的 ...
【读书笔记】NeurIPS2018的两篇文章：The Tradeoffs of Large Scale Learning和Neural Ordinary Differential Equations
今天看了 NeurIPS 2018 上的两篇文章,一篇是获得 best paper 的 Neural Ordinary Differential Equations (陈天奇的文章),一篇是获经典论文 ...
论文笔记Neural Ordinary Differential Equations
论文笔记Neural Ordinary Differential Equations 概述参数的优化连续标准化流(Continuous Normalizing Flows) 生成式的隐轨迹时序模型 ...
神经了的ODE：Neural Ordinary Differential Equations
Abstract 我们介绍深度神经网络模型的一个新家族.我们使用神经网络参数化隐藏状态的导数,而不是指定一个离散的隐藏层序列.网络的输出使用一个黑盒微分求解器进行计算(blackbox differe ...
Neural Ordinary Differential Equations（NIPS2018）
我们引入了一个新的深度神经网络模型家族.我们不指定隐藏层的离散序列,而是使用神经网络参数化隐藏状态的导数.利用黑盒微分方程解算器计算网络的输出.这些连续深度模型具有恒定的存储成本,根据每个输入调整其评 ...
黎曼流形学习的学习笔记(2):Neural Ordinary Differential Equations(来源：NIPS 2018 oral) (未完待续)
作者想解决的问题:这是一篇提出新模型的论文,把输入和输出当作微分方程在不同时刻的解,这样做可以节省很多空间,因为不需要计算每一步的具体结果,只需要保存得到的函数. 思路:由于残差网络 (空间上) 和R ...
Neural Ordinary Differential Equations
神经常微分方程(2018) Abstract 1 Introduction 2 Reverse-mode automatic differentiation of ODE solutions(反向模式 ...
007_SSSSS_ Neural Ordinary Differential Equtions
Neural Ordinary Differential Equtions 本文是NeurIPS 2018 最佳文章, 作者的想法可以用<赤壁赋>中的一句话来微妙的体现:盖将自其变者而观之 ...
《DeepXDE:a deep learning library for solving differential equations》梳理
本论文向我们介绍了一个求解微分方程的神经网络PINNs,和PINNs的Python库DeepXDE 摘要 1.PINNs(Physics-informed neural networks物理信息神经网 ...

EXIT: Extrapolation and Interpolation-based Neural Controlled Differential Equations for Time-series

EXIT: Extrapolation and Interpolation-based Neural Controlled Differential Equations for Time-series相关推荐

最新文章

热门文章