二十五、长短时记忆神经网络

1. 长短时记忆神经网络

1.1 长短时记忆神经网络

长短时记忆神经网络（Long Short Term Memory, LSTM ）是一种RNN特殊的类型，可以学习长期依赖信息。在很多问题上，LSTM都取得巨大的成功，并得到了广泛的应用。
LSTM能够有效捕捉长序列之间的语义关联, 缓解梯度消失或爆炸现象. 同时LSTM的结构更复杂, 它的核心结构可以分为四个部分去解析，具体包括遗忘门、输入门、细胞状态、输出门

1.2 LSTM的网络结构

遗忘门：LSTM的遗忘门通过sigmiod函数决定哪些信心会被遗忘，经过sigmoid函数，会输出0~1之间的一个值，这个值会和前一次的细胞状态进行点乘，从而决定遗忘或者保留
输入门：LSTM的输入门决定哪些新的信息会被保留，这个过程有两步：
- 输入信息经过sigmoid层决定哪些信息会被更新
- tanh会创出一个新的候选向量，后续会被添加到细胞状态中

细胞状态更新：
- 旧的细胞状态和遗忘门结果相乘
- 然后加上输入门和tanh相乘的结果
输出门：LSTM的输出决定哪些信息会被输出，同样这个输出经过变换之后会通过sigmoid函数的结果来决定那些细胞状态会被输出。

1.3 步骤

步骤一：导入工具库

import torch
import torch.nn as nn

步骤二：LSTM网络搭建

class LstmModel(nn.Module):def __init__(self):super(LstmModel,self).__init__()self.rnn = nn.LSTM(input_size=1,hidden_size=32,num_layers=1)self.out = nn.Linear(32,1)def forward(self,x,h):# x (time_step, batch_size,input_size)out,h = self.rnn(x,h)prediction = self.out(out)return prediction,h

步骤三：输出模型结构

rnn = LstmModel()
print(rnn)

1.4 运行结果

运行结果：
D:/Users/tarena/PycharmProjects/nlp/unit30/lstm_model.py
LstmModel((rnn): LSTM(1, 32)(out): Linear(in_features=32, out_features=1, bias=True)
)Process finished with exit code 0

二十五、长短时记忆神经网络相关推荐

无人驾驶汽车系统入门（二十五）——基于欧几里德聚类的激光雷达点云分割及ROS实现
无人驾驶汽车系统入门(二十五)--基于欧几里德聚类的激光雷达点云分割及ROS实现上一篇文章中我们介绍了一种基于射线坡度阈值的地面分割方法,并且我们使用pcl_ros实现了一个简单的节点,在完成了点云 ...
linux exec 二程序,二十五、Linux 进程与信号---exec函数
25.1 介绍在用 fork 函数创建子进程后,子进程往往要调用一种 exec 函数以执行另一个程序当进程调用一种 exec 函数时,该进程完全由新程序代换,替换原有进程的正文,而新程序则从其 m ...
二十五还是单身的十大原因
第一不够帅.PLMM甚至认为周杰伦都比我帅,失恋的主要原因. 第二不够狠.我喜欢的PLMM都名花有主,可是我不习惯去抢. 第三长的不合适宜.19岁时,那个PLMM说我太小,她喜欢成熟的:二十五岁 ...
二十五个软件测试经典面试题，你确定不收藏一波？
二十五个软件测试经典面试题全在这里了,有兴趣的朋友建议收藏一波,或者留言交流! 1.在搜索引擎中输入汉字就可以解析到对应的域名,请问如何用LoadRunner进行测试? 建立测试计划,确定测试标准和测 ...
深度学习入门笔记（二十）：经典神经网络（LeNet-5、AlexNet和VGGNet）
欢迎关注WX公众号:[程序员管小亮] 专栏--深度学习入门笔记声明 1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献. 2)本文仅供学术交流,非商用.所以每一部分具 ...
【黑金原创教程】【FPGA那些事儿-驱动篇I 】实验二十五：SDHC模块
实验二十五:SDHC模块笔者曾经说过,SD卡发展至今已经衍生许多版本,实验二十四就是针对版本SDV1.×的SD卡.实验二十四也说过,CMD24还有CMD17会故意偏移地址29,让原本范围指向从原本的 ...
二十五个深度学习相关公开数据集
转 [干货]二十五个深度学习相关公开数据集 2018年04月18日 13:42:53 阅读数:758 (选自Analytics Vidhya:作者:Pranav Dar:磐石编译) 目录介绍图像处 ...
JVM 学习笔记二十五、JVM监控及诊断工具-命令行篇
二十五.JVM监控及诊断工具-命令行篇 1.概述性能诊断是软件工程师在日常工作中经常面对和解决的问题,在用户体验至上的今天,解决好应用软件的性能问题能带来非常大的收益. Java作为最流行的编程语言 ...
java常见面试考点（二十五）：CAS是什么
java常见面试考点往期文章推荐: java常见面试考点(二十):Elasticsearch 和 solr 的区别 java常见面试考点(二十一):单点登录 java常见面试考点(二十二 ...

二十五、长短时记忆神经网络

1. 长短时记忆神经网络

1.1 长短时记忆神经网络

1.2 LSTM的网络结构

1.3 步骤

1.4 运行结果

二十五、长短时记忆神经网络相关推荐

最新文章

热门文章