TCN时间卷积网络介绍

2024-04-27 06:20:19

绪论

TCN, Temporal Convolutional Network,时间卷积网络，是一种能够处理时间序列数据的网络结构，论文还评为 2018年10大论文。

1. 模型

输入：

x0,x1,...,xt{x_0, x_1,..., x_t}x0,x1,...,xt

输出：

y0,y1,...,yt{y_0, y_1,..., y_t}y0,y1,...,yt

根据输入序列，推断新的可能信息是什么，使用评判机制去评价预测效果的好坏，比如普通全连接层会使用MSE作为损失函数。

minL(y0,...,yt,f(x0,...,xt))min \;L(y_0,...,y_t, f(x_0,..., x_t))minL(y0,...,yt,f(x0,...,xt))

下面来看看TCN的模型结构图

可以看出，TCN使用空洞卷积核（dilated convolutions）来解决获取整个序列的全局信息，并且设置了残差结构 Residual block。

1.1 空洞卷积核

空洞卷积核使用公式描述：

F(s)=∑i=0k−1f(i)⋅xs−d⋅iF(s) = \sum\limits^{k-1}_{i=0} {f(i) \cdot \mathbf x_{s - d \cdot i}}F(s)=i=0∑k−1f(i)⋅xs−d⋅i

1.2 残差连接

公式描述：

o=Activation(x+F(x))o = Activation(\rm x + \mathscr{F}(x))o=Activation(x+F(x))

2. 总结

网络结构特点：

（1）并行性
由于CNN每一层使用相同的卷积核，因此一个长序列输入可以用TCN并行处理

（2）灵活的感受视野
比如改变卷积核的参数，容易控制模型的记忆大小；

（3）固定的梯度
（4）更小的内存训练
（5）可变的输入长度

个人感想，这个TCN还是不明白为什么这麽有效，难道使用空洞卷积核扩大模型对全局的视野吗。

最近开通了个公众号，主要分享深度学习相关内容，推荐系统，风控等算法相关的内容，感兴趣的伙伴可以关注下。

公众号相关的学习资料会上传到QQ群596506387，欢迎关注。

参考：

论文详解 blog;
原论文;
github model;

TCN时间卷积网络介绍相关推荐

TCN（Temporal Convolutional Network，时间卷积网络）
1 前言实验表明,RNN 在几乎所有的序列问题上都有良好表现,包括语音/文本识别.机器翻译.手写体识别.序列数据分析(预测)等. 在实际应用中,RNN 在内部设计上存在一个严重的问题:由于网络一次只 ...
【CV】膨胀卷积详解以及时间卷积网络TCN论文笔记和源码实现
这篇博文分为两部分.第一部分详细讲解了TCN模型(Temporal Convolutional Network)中涉及的1D卷积,因果卷积,膨胀卷积中设计的计算,非常值得一看,有醍醐灌顶的作用.第二部 ...
从一维卷积、因果卷积(Causal CNN)、扩展卷积(Dilation CNN) 到时间卷积网络 (TCN)
来源: AINLPer微信公众号(每日干货分享!!) 编辑: ShuYini 校稿: ShuYini 时间: 2022-09-30 引言卷积神经网络 (CNN) 尽管通常与图像分类任务相关,但经过改 ...
时间卷积网络TCN：时间序列处理的新模型
这篇文章回顾了基于TCN的解决方案的最新创新.我们首先介绍了一个运动检测的案例研究,并简要回顾了TCN架构及其相对于传统方法的优势,如卷积神经网络(CNN)和递归神经网络(RNN).然后,我们介绍了一 ...
机器学习进阶之时域/时间卷积网络 TCN 概念+由来+原理+代码实现
TCN 从"阿巴阿巴"到"巴拉巴拉" TCN的概念(干嘛来的!能解决什么问题) TCN的父母(由来) TCN的原理介绍上代码! 1.TCN(时域卷积网络.时间 ...
时间卷积网络（TCN）在 NLP 多领域发光，RNN 或将没落
也就是从 2014.15 年起,我们基于深度神经网络的应用就已经在文本和语音识别领域达到 95% 的准确率,可以用来开发新一代的聊天机器人.个人助理和即时翻译系统等. 卷积神经网络(Convoluti ...
Keras之TCN：基于keras框架利用时间卷积网络TCN算法对上海最高气温实现回归预测(把时间序列数据集转化为有监督学习数据集)案例
Keras之TCN:基于keras框架利用时间卷积网络TCN算法对上海最高气温实现回归预测(把时间序列数据集转化为有监督学习数据集)案例目录利用时间卷积网络TCN算法对上海最高气温实现回归预测(把 ...
【Python项目实战】基于时间卷积网络(Temporal Convolution Network ,TCN)的发动机剩余寿命预测
摘要航空发动机结构复杂,状态变量多且相互之间存在着严重非线性特征,传统的基于物理失效模型的方法难以精确地预测发动机的剩余寿命(RUL).针对此问题,采用时间卷积网络(Temporal Convolut ...
【论文解读】一种基于时间卷积网络的知识驱动股票趋势预测方法
写在前面下面这篇文章的内容主要是来自论文<Knowledge-Driven Stock Trend Prediction and Explanation via Temporal Convol ...

最新文章

热门文章