1 LSTM复习

机器学习笔记 RNN初探 & LSTM_UQI-LIUWJ的博客-CSDN博客

机器学习笔记：GRU_UQI-LIUWJ的博客-CSDN博客_gru 机器学习

2 PeepholeLSTM

就是计算输入门、遗忘门和输出门的时候，我们不仅仅考虑h和x，还将C考虑进来

3 coupled LSTM

输入门和遗忘门二合一

4 Conv LSTM

可以看到conv LSTM中也使用了peephole LSTM的结构——cell部分也用于遗忘门和输入门的计算

对于使用了peephole 的LSTM，我们有如下的计算流程

在这里红色和紫色框起来的地方都是哈达玛积（逐元素乘积），计算量是很大的，同时参数量也是很大的 [*表示卷积操作 ●表示哈达玛积]

在conv lstm 中，对于红色和紫色框起来的部分使用矩阵乘法而不是逐元素乘积

对于conv-LSTM，输入是，w是时间窗口，a,b是 grid的尺寸；k是特征数量

另一种convLSTM的理解方法是，我们普通的LSTM可以看成最后两个维度都是1 的ConvLSTM，其中卷积核大小为1×1

4.1 ConvLSTM VS CNN+LSTM

对于时间序列预测问题而言,一般来说不存在conLSTM的结构,因为对于convlstm来说,输入是矩阵形式的,即每一个时间步都是一个矩阵输入(例如视频分类问题),而典型的时间序列预测的每一个时间步输入是一个向量(多变量时间序列预测)或一个标量(单变量时间序列预测)。

因此在时间序列预测中,一般是使用conv1d+lstm的方式来做,例如输入是一个长度为10的sequence,经过conv1d(padding)之后仍旧是长度为10的sequence,然后这个sequence再送入LSTM,cnn作为滤波器存在,cnn和lstm的网络结构是完全独立的;

cnn+lstm是无法直接处理视频问题的,因为视频的每一个时间步是一张图像,不考虑多通道问题则至少是一个矩阵,而LSTM中,输入部分和上一个时间步的hidden state的传入部分一般来说是向量。

4.2 图示ConvLSTM

换言之，我们可以理解为，H，C以及sequence的每个元素X都是三维的tensor，每次我们都是用卷积操作来生成下一个sequence的H和C

5 ConvGRU

和Conv-LSTM类似，也是用矩阵乘法代替逐元素哈达玛积

参考文献

【串讲总结】RNN、LSTM、GRU、ConvLSTM、ConvGRU、ST-LSTM - 知乎 (zhihu.com)

机器学习笔记：LSTM 变体（conv-LSTM、Peephole LSTM、 coupled LSTM、conv-GRU）相关推荐

自然语言菜鸟学习笔记（七）：RNN（循环神经网络）及变体（LSTM、GRU）理解与实现（TensorFlow）
目录前言 RNN(循环神经网络) 为什么要用循环神经网络(RNN)? 循环神经网络(RNN)可以处理什么类型的任务? 多对一问题一对多问题多对多问题循环神经网络结构单层网络情况正向传播反 ...
(转) 干货 | 图解LSTM神经网络架构及其11种变体（附论文）
干货 | 图解LSTM神经网络架构及其11种变体(附论文) 2016-10-02 机器之心选自FastML 作者:Zygmunt Z. 机器之心编译参与:老红.李亚洲就像雨季后非洲大草原许多野 ...
图解LSTM神经网络架构及其11种变体（附论文）
来源:机器之心英文原文:Deep learning architecture diagrams 参与:老红.李亚洲原文链接:图解LSTM神经网络架构及其11种变体(附论文) 本文经机器之心(微信公 ...
RNN及变体LSTM、GRU（在NILM中的应用）
RNN(Recurrent Neural Network)循环神经网络 1.介绍卷积神经网络等的输入和输出都是相互独立的,而RNN拥有记忆能力,其记忆能力依赖于输入和输出网络结构如下图所示: ...
循环神经网络以及 LSTM 及其变体
循环神经网络以及 LSTM 一.循环神经网络 1.1 RNN 简介概述 1.2 RNN 的图示讲解 1.3 RNN 的前向传播二.LSTM ( Long Short-Term Memory) 2.1 ...
长短期记忆网络（Long Short-Term Memory，LSTM）及其变体双向LSTM和GRU
LSTM(Long Short-Term Memory)长短期记忆网络,是一种时间递归神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要事件.LSTM是解决循环神经网络RNN结构中存在的&q ...
第六讲-循环神经网络（RNN）及变体LSTM
1.卷积神经网络(CNN)与循环神经网络(RNN)的简单对比: CNN:借助卷积核(kernel)提取特征后,送入后续网络(如全连接网络Dense)进行分类.目标检测等操作.CNN借助卷积核从空间维度 ...
机器学习笔记 RNN初探 LSTM
1 引入一个input的属性会受到其前后文的影响-->神经网络需要记忆这里"Taipei"的属性(destination还是source)受到前面的动词"ar ...
LSTM之父重提30年前的「快速权重存储系统」：线性Transformer只是它的一种变体...
作者|陈萍.维度来源|机器之心来自瑞士人工智能实验室.亚琛工业大学的研究者建立了线性(核)注意力与快速权重存储系统之间的内在联系,并提出更新规则,在合成检索问题.机器翻译.语言模型等实验上性能优越 ...

机器学习笔记：LSTM 变体（conv-LSTM、Peephole LSTM、 coupled LSTM、conv-GRU）

1 LSTM复习

2 PeepholeLSTM

3 coupled LSTM

4 Conv LSTM

4.1 ConvLSTM VS CNN+LSTM

4.2 图示ConvLSTM

5 ConvGRU

机器学习笔记：LSTM 变体（conv-LSTM、Peephole LSTM、 coupled LSTM、conv-GRU）相关推荐

最新文章

热门文章

机器学习笔记 ：LSTM 变体 （conv-LSTM、Peephole LSTM、 coupled LSTM、conv-GRU）

1 LSTM复习

2 PeepholeLSTM

3 coupled LSTM

4 Conv LSTM

4.1 ConvLSTM VS CNN+LSTM

4.2 图示ConvLSTM

5 ConvGRU

机器学习笔记 ：LSTM 变体 （conv-LSTM、Peephole LSTM、 coupled LSTM、conv-GRU）相关推荐

最新文章

热门文章

机器学习笔记：LSTM 变体（conv-LSTM、Peephole LSTM、 coupled LSTM、conv-GRU）

机器学习笔记：LSTM 变体（conv-LSTM、Peephole LSTM、 coupled LSTM、conv-GRU）相关推荐