lstm和GRU结构图

1.lstm的结构图

LSTM主要由记忆单元C，遗忘门，输入门和输出门组成，门的取值范围都是(0,1)，由sigmoid函数控制

遗忘门f

遗忘门以前一个时刻的隐层状态ht−1和该时刻输入xt的线性组合作为sigmoid函数的输入，用来控制遗忘多少*前一时刻记忆单元Ct-1的内容。
那么经过遗忘门之后：Ct-1中的内容还剩多少呢：• 表示元素级的乘法
输入门 i

输入们也是以前一个时刻的隐层状态ht−1和该时刻输入xt的线性组合作为sigmoid函数的输入，用来控制输入多少当前输入进来的新信息
输入们：
那么经过输入门的控制，究竟有多少新信息是被保留的呢？我们用C_t~来表示：
输出门

输出们也是以前一个时刻的隐层状态ht−1和该时刻输入xt的线性组合作为sigmoid函数的输入，用来控制输出多少 当前记忆单元Ct 的信息
输出门：
那么当前记忆单元Ct的内容是什么呢？？，观察下图：

Ct 是由 Ct-1 经历乘法和加法得到的，再来看乘法和加法到底是什么？

由图中可以看到：
乘法：由遗忘门控制的
加法：由输入门控制的
将两者想加就是当前的Ct
最终的输出ht

对照这张图，整个过程整理一下

2.GRU结构图

GRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题。

GRU模型中只有两个门：分别是重置门和更新门

重置门所做的工作跟Lstm 的遗忘门类似，只不过它不是遗忘前一时刻记忆单元Ct-1的信息，而是前一时刻隐层单元的信息 ht-1
重置门：
遗忘之后，ht-1 还剩多少信息？？
更新门作用与LSTM 不一样，它是控制前一时刻隐层状态 ht-1,和当前输入信息的平衡
更新门：
输入信息：注意这里输入的不是ht-1, 而是遗忘之后的 rt • ht-1
平衡之后的ht：

对照这张图，整理下整个过程

最后：[ ]表示cancat，• 表示元素级的乘法

lstm和GRU结构图相关推荐

【串讲总结】RNN、LSTM、GRU、ConvLSTM、ConvGRU、ST-LSTM
前言平时很少写总结性的文章,感觉还是需要阶段性总结一些可以串在一起的知识点,所以这次写了下.因为我写的内容主要在时序.时空预测这个方向,所以主要还是把rnn,lstm,gru,convlstm,co ...
【图文并茂】RNN、LSTM、GRU、ConvLSTM、ConvGRU、ST-LSTM的总结
前言平时很少写总结性的文章,感觉还是需要阶段性总结一些可以串在一起的知识点,所以这次写了下.因为我写的内容主要在时序.时空预测这个方向,所以主要还是把rnn,lstm,gru,convlstm,co ...
深度学习（三十九）LSTM、GRU网络入门学习-未完待续
LSTM入门学习原文地址:http://blog.csdn.net/hjimce/article/details/51234311 作者:hjimce 一.相关理论本篇博文主要讲解LSTM.GRU ...
RNN、LSTM、GRU的原理和实现
个人博客:http://www.chenjianqu.com/ 原文链接:http://www.chenjianqu.com/show-41.html 用python实现了经典的RNN,LSTM和GR ...
CS224N笔记(四) Lecture 7：循环神经网络RNN的进阶——LSTM与GRU
本文将介绍两种比RNN更好地应对梯度消失问题的模型结构--LSTM和GRU,文章以CS224N的课件和材料为基础,重点分析他们的结构特点和梯度计算,在梯度消失的解决策略上进行了深入探究,并进一步分析它 ...
图解LSTM与GRU单元的各个公式和区别
作者 | Che_Hongshu 来源 | AI蜗牛车 (ID: AI_For_Car) 因为自己LSTM和GRU学的时间相隔很远,并且当时学的也有点小小的蒙圈,也因为最近一直在用lstm,gru等等 ...
难以置信！LSTM和GRU的解析从未如此清晰（动图+视频）
作者 | Michael Nguyen 编译 | 蔡志兴.费棋编辑 | Jane 出品 | AI科技大本营 [导语]机器学习工程师 Michael Nguyen 在其博文中发布了关于 LSTM 和 ...
循环神经网络实现文本情感分类之Pytorch中LSTM和GRU模块使用
循环神经网络实现文本情感分类之Pytorch中LSTM和GRU模块使用 1. Pytorch中LSTM和GRU模块使用 1.1 LSTM介绍 LSTM和GRU都是由torch.nn提供通过观察文档, ...
从LSTM到GRU基于门控的循环神经网络总结
1.概述为了改善基本RNN的长期依赖问题,一种方法是引入门控机制来控制信息的累积速度,包括有选择性地加入新的信息,并有选择性遗忘之前累积的信息.下面主要介绍两种基于门控的循环神经网络:长短时记忆网络 ...

lstm和GRU结构图

1.lstm的结构图

对照这张图，整个过程整理一下

2.GRU结构图

对照这张图，整理下整个过程

最后：[ ]表示cancat，• 表示元素级的乘法

lstm和GRU结构图相关推荐

最新文章

热门文章