浅谈RNN,LSTM和GRU

RNN

字面意思循环神经网络，接下来放一张结构图，大家就比较直观地可以理解了。

由这个图大家可以粗略地看出rnn的一个简单结构，它是一步一步向前传递的，所以说是和序列有关的。

上面这个图就比较具体了，我们可以看出rnn其实有三层网络结构：输入层，隐藏层和输出层，都说rnn是参数共享的什么意思呢？看图，所有的输入层到隐藏层都共用矩阵Whx，所有的隐藏层中的节点向前传递信息都共用矩阵Whh，所有隐藏层到输出层都共用矩阵Wyh。

LSTM

字面意思长短期记忆网络，它出现的意义在于rnn无法记忆长距离的信息。

具体我不做太多的阐述，上图的结构已经很清晰了，同时我会给出具体的计算公式，里面涉及到两个激活函数，sigmoid和tanh，如下图。

以上图片部分来源为深度之眼。

大家如果想进一步理解，网上的相关资料比较多，我这里推荐一篇深入理解LSTM,谢谢大家，有问题欢迎留言交流

浅谈RNN,LSTM和GRU相关推荐

Tensorflow使用CNN卷积神经网络以及RNN(Lstm、Gru)循环神经网络进行中文文本分类
Tensorflow使用CNN卷积神经网络以及RNN(Lstm.Gru)循环神经网络进行中文文本分类本案例采用清华大学NLP组提供的THUCNews新闻文本分类数据集的一个子集进行训练和测试http ...
浅谈RNN、LSTM + Kreas实现及应用
本文主要针对RNN与LSTM的结构及其原理进行详细的介绍,了解什么是RNN,RNN的1对N.N对1的结构,什么是LSTM,以及LSTM中的三门(input.ouput.forget),后续将利用深度学 ...
Pytorch：RNN、LSTM、GRU 构建人名分类器（one-hot版本、Embedding嵌入层版本）
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 2. RNN经典案例 2.1 使用RNN模型构建人名分类器学 ...
图解 RNN, LSTM, GRU
参考: Illustrated Guide to Recurrent Neural Networks Illustrated Guide to LSTM's and GRU's: A step by ...
浅谈深度学习：LSTM对股票的收益进行预测（Sequential 序贯模型，Keras实现）
浅谈深度学习:LSTM对股票的收益进行预测(Sequential 序贯模型,Keras实现) 总包含文章: 一个完整的机器学习模型的流程浅谈深度学习:了解RNN和构建并预测浅谈深度学习:基于对LS ...
浅谈深度学习：了解RNN和构建并预测
浅谈深度学习:了解RNN和构建并预测总包含文章: 一个完整的机器学习模型的流程浅谈深度学习:了解RNN和构建并预测浅谈深度学习:基于对LSTM项目LSTM Neural Network for ...
浅谈深度学习：基于对LSTM项目`LSTM Neural Network for Time Series Prediction`的理解与回顾
浅谈深度学习:基于对LSTM项目LSTM Neural Network for Time Series Prediction的理解与回顾#### 总包含文章: 一个完整的机器学习模型的流程浅谈深度学 ...
CS224N笔记(四) Lecture 7：循环神经网络RNN的进阶——LSTM与GRU
本文将介绍两种比RNN更好地应对梯度消失问题的模型结构--LSTM和GRU,文章以CS224N的课件和材料为基础,重点分析他们的结构特点和梯度计算,在梯度消失的解决策略上进行了深入探究,并进一步分析它 ...
[PyTorch] rnn,lstm,gru中输入输出维度
本文中的RNN泛指LSTM,GRU等等 CNN中和RNN中batchSize的默认位置是不同的. CNN中:batchsize的位置是position 0. RNN中:batchsize的位置是pos ...

浅谈RNN,LSTM和GRU

RNN

LSTM

浅谈RNN,LSTM和GRU相关推荐

最新文章

热门文章