LSTM神经网络图解

LSTM神经网络图详解

（1）遗忘门，用于计算信息的遗忘（保留）程度，通过sigmoid处理后为0到1的值，1表示全部保留，0表示全部忘记。ft=σ(Wf⋅[ht−1,xt]+bf)f_{t}=\sigma \left ( W_{f}\cdot \left [ h_{t-1},x_{t} \right ] +b_{f}\right )ft=σ(Wf⋅[ht−1,xt]+bf)
(2)输入门，输入门用来计算哪些信息保存到状态单元中,包括两部分信息，一部分是
it=σ(Wi⋅[ht−1,xt]+bi)i_{t}=\sigma \left ( W_{i}\cdot \left [ h_{t-1},x_{t} \right ] +b_{i}\right )it=σ(Wi⋅[ht−1,xt]+bi)
该部分可以看成当前输入有多少信息需要保存到单元状态。另一部分是
ct~=tanh⁡(Wc⋅[ht−1,xt]+bc)\tilde{c_{t}}=\tanh \left ( W_{c}\cdot \left [ h_{t-1},x_{t} \right ] +b_{c}\right )ct~=tanh(Wc⋅[ht−1,xt]+bc)
该部分用来把当前输入产生的新信息添加到单元状态中。这两部分产生新的记忆状态。

由此，当前时刻的单元状态由遗忘门输入和上一时刻状态的积加上输入门两部分的积，即
ct=ft⋅ct−1+it⋅c~t{c_{t}}= f_{t}\cdot c_{t-1}+ i_{t}\cdot \tilde c_{t}ct=ft⋅ct−1+it⋅c~t
（3）输出门，用于计算当前时刻信息被输出的程度。
ot=σ(Wo⋅[ht−1,xt]+bo)o_{t}=\sigma \left ( W_{o}\cdot \left [ h_{t-1},x_{t} \right ] +b_{o}\right )ot=σ(Wo⋅[ht−1,xt]+bo)
ht=ot⋅tanh(ct)h_{t}= o_{t}\cdot tanh(c_{t})ht=ot⋅tanh(ct)
整个LSTM神经网络就是如此，下面是李宏毅老师ppt上的，可以进一步了解整个流程。PPT链接循环神经网络

对于门（Gate）的理解，这里有很形象的解释深度学习计算模型中“门函数（Gating Function）”的作用

LSTM神经网络图解相关推荐

(转) 干货 | 图解LSTM神经网络架构及其11种变体（附论文）
干货 | 图解LSTM神经网络架构及其11种变体(附论文) 2016-10-02 机器之心选自FastML 作者:Zygmunt Z. 机器之心编译参与:老红.李亚洲就像雨季后非洲大草原许多野 ...
图解LSTM神经网络架构及其11种变体（附论文）
来源:机器之心英文原文:Deep learning architecture diagrams 参与:老红.李亚洲原文链接:图解LSTM神经网络架构及其11种变体(附论文) 本文经机器之心(微信公 ...
数据分享 | LSTM神经网络架构和原理及其在Python中的预测应用（附视频）
本文约2800字,建议阅读10+分钟本文与你分享如何使用长短期记忆网络(LSTM)来拟合一个不稳定的时间序列. 长短期记忆网络--通常称为"LSTM"--是一种特殊的RNN递归神 ...
【深度学习】LSTM神经网络解决COVID-19预测问题（二）
[深度学习]LSTM神经网络解决COVID-19预测问题(二) 文章目录 1 概述 2 模型求解和检验 3 模型代码 4 模型评价与推广 5 参考 1 概述建立一个普适性较高的模型来有效预测疫情的达 ...
【深度学习】LSTM神经网络解决COVID-19预测问题（一）
[深度学习]LSTM神经网络解决COVID-19预测问题文章目录 1 概述 2 数据分析 3 SIR模型和LSTM网络的对比 4 LSTM神经网络的建立 5 参考 1 概述我们将SIR传播模型和L ...
LSTM神经网络和 GRU神经网络
LSTM是什么 LSTM即Long Short Memory Network,长短时记忆网络.它其实是属于RNN的一种变种,可以说它是为了克服RNN无法很好处理远距离依赖而提出的. 我们说RNN不能处 ...
tensorflow应用：双向LSTM神经网络手写数字识别
tensorflow应用:双向LSTM神经网络手写数字识别思路 Python程序1.建模训练保存 Tensorboard检查计算图及训练结果打开训练好的模型进行预测思路将28X28的图片看成2 ...
【项目调研+论文阅读】Lattice LSTM神经网络医学文本命名实体识别 | day7
<Lattice LSTM神经网络法中文医学文本命名实体识别模型研究>2019 文章目录一.模型步骤 1.Lattiice-LSTM分词+表征词汇 2.LSTM-CRF 经证实,英文N ...
python程序写诗_pytorch下使用LSTM神经网络写诗实例
在pytorch下,以数万首唐诗为素材,训练双层LSTM神经网络,使其能够以唐诗的方式写诗. 代码结构分为四部分,分别为 1.model.py,定义了双层LSTM模型 2.data.py,定义了从网上 ...
Linux(Centos7.8)中conda虚拟环境搭建LSTM神经网络基于django3.1.2的api接口
目录 1.准备工作 2.项目需求 2.1 根据需求下载LSTM依赖包 2.2 代码实现 3.启动服务 4.第三方应用调用webapi服务提供的api接口 1.准备工作由上一博客Linux(Cento ...

LSTM神经网络图解

LSTM神经网络图解相关推荐

最新文章

热门文章