GRU和LSTM的单元结构

在循环神经网络中GRU和LSTM有着非常重要的地位。其中LSTM的出现时间是要早与GRU的。GRU是对LSTM的简化。

GRU的单元结构中包含两个门：回忆门r(t), 更新门z(t)。其结构如下

LSTM的单元结构与GRU相比更为复杂，包含有三个门：f(t)遗忘门，o(t)输出门， i(t)输入门。

$f(t) = \sigma (w_f(h_{t-1}, x_t)+b_f)$

$i(t) = \sigma (w_i(h_{t-1}, x_t)+b_i)$

$o(t) = \sigma (w_o(h_{t-1}, x_t)+b_o)$

$\widetilde{C}(t) = tanh (w_C(h_{t-1}, x_t)+b_C)$

$C(t)=f_t\times C(t-1)+i_t\times \widetilde{C}(t)$

$h_t=o(t)\times tanh(C(t))$

GRU和LSTM的单元结构相关推荐

深度学习与自然语言处理教程(5) - 语言模型、RNN、GRU与LSTM（NLP通关指南·完结）
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/36 本文地址:https://www.showmeai.tech/article-d ...
2020-10-21 吴恩达DL学习-C5 序列模型-W1 循环序列模型(1.9 GRU门控循环单元-改善梯度消失-在序列中学习非常深的连接-简化和完整版本-记忆细胞)
1.视频网站:mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c 2.详细笔记网站(中文):http://www.ai-sta ...
RNN、GRU、LSTM
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/weixin_42432468 学习心得: 1.每周的视频课程看一到两遍 2.做笔记 3.做每周的作业 ...
Python Djang 搭建自动词性标注网站（基于Keras框架和维基百科中文预训练词向量Word2vec模型，分别实现由GRU、LSTM、RNN神经网络组成的词性标注模型）
引言本文基于Keras框架和维基百科中文预训练词向量Word2vec模型,分别实现由GRU.LSTM.RNN神经网络组成的词性标注模型,并且将模型封装,使用python Django web框架搭建 ...
Tensorflow中GRU和LSTM的权重初始化
GRU和LSTM权重初始化在编写模型的时候,有时候你希望RNN用某种特别的方式初始化RNN的权重矩阵,比如xaiver或者orthogonal,这时候呢,只需要: 1 2 3 4 5 6 7 8 9 ...
RNN隐藏层的两种计算方法GRU和LSTM
本篇文章主要介绍两种RNN的隐藏层信息计算方法GRU(Gated Recurrent Units)和LSTM(Long-Short-Term-Memories),这两种隐藏层的计算方法通过引入门(Ga ...
Delphi的程序单元结构
来源:http://blog.csdn.net/lcq419/article/details/1305538 Delphi的程序单元 Object Passal的程序结构很特殊,与其它语言如C++,O ...
动手深度学习PyTorch（九）GRU、LSTM、Bi-RNN
GRU 上一篇介绍了循环神经网络中的梯度计算方法.我们发现,当时间步数较大或者时间步较小时,循环神经网络的梯度较容易出现衰减或爆炸.虽然裁剪梯度可以应对梯度爆炸,但无法解决梯度衰减的问题.通常由于这个 ...
【tensorflow-keras-GRU】keras.layers.GRU 门限循环单元网络（Gated Recurrent Unit）
循环层 Recurrent - Keras 中文文档 https://keras.io/zh/layers/recurrent/#gru GRU keras.layers.GRU(units, act ...

GRU和LSTM的单元结构

GRU和LSTM的单元结构相关推荐

最新文章

热门文章