lstm不收敛_LSTM学习笔记

最近实验中需要用到LSTM，记录下我对LSTM的理解。

什么是LSTM？

首先介绍一下标准的RNN，它拥有记忆能力，适合处理序列型的数据，比如语音识别，但它有有以下缺点：

只能记住非常短的序列
难以训练，收敛困难

RNN的结构

LSTM全名“长短期记忆神经网络”，正好解决了RNN的缺点。LSTM会选择性忘记不重要的信息，因此它能记住更长的序列，且它更容易训练

LSTM的结构

LSTM的关键是单元（门）的状态，即贯穿图顶部的水平线。门由sigmoid层、tanh层和乘法运算组成

LSTM原理

LSTM的第一步决定要从单元状态丢弃什么信息，这个决定由“遗忘门”做出，输出值介于0和1，0表示完全忘记，1表示完全记住

遗忘门

第二步决定要在单元状态中存储什么新信息。它有两部分：首先，“输入门”的sigmoid决定更新哪些值，接下来，tanh创建新的候选向量，在下一个步骤中，把两者结合起来对状态更新

输入门

这一步对状态进行更新

最后需要计算输出什么

LSTM的应用

one to many：输入不是序列，输出是序列，比如看图写诗
many to one：输入是序列，输出不是序列，比如视频分类、步态识别
many to many：输入是序列，输出也是序列，比如语音识别、机器翻译

references

Understanding LSTM Networkscolah.github.io「公开课干货分享」LSTM长短期记忆神经网络的学习与实现www.bilibili.com

lstm不收敛_LSTM学习笔记相关推荐

深度学习笔记——循环神经网络RNN/LSTM
原文来自知乎专栏NLP进阶之路,作者韦伟. 以下文章是摘录了原文部分内容的学习笔记,侵删. 循环神经网络(Rerrent Neural Network) RNN是神经网络的一种,RNN对具有序列特性的 ...
tensorflow学习笔记（八）：LSTM手写体(MNIST)识别
文章目录一.LSTM简介二.主要函数三.LSTM手写体(MNIST)识别 1.MNIST数据集简介 2.网络描述 3.项目实战一.LSTM简介 LSTM是一种特殊的RNN,很好的解决了RNN中 ...
长短期记忆网络(LSTM)学习笔记
文章目录 0 前言 1 LSTM与RNN的异同 2 LSTM结构细节 2.1 细胞状态 2.2 遗忘门 2.3 输入门 2.4 输出门 3 总结 4 LSTM的变体 4.1 Adding " ...
深度学习与智能故障诊断学习笔记（三）——RNN与LSTM推导详解
1.RNN 1.1网络结构标准神经网络的输入输出在不同例子中可能有不同的长度,在学习中并不共享从不同位置上学到的特征.因为标准神经网络的训练集是稳定的,即所有的特征域表达的内容是同一性质的,一旦交换 ...
一文弄懂元学习 (Meta Learing)（附代码实战）《繁凡的深度学习笔记》第 15 章元学习详解（上）万字中文综述
<繁凡的深度学习笔记>第 15 章元学习详解 (上)万字中文综述(DL笔记整理系列) 3043331995@qq.com https://fanfansann.blog.csdn.net ...
深度学习笔记：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)
深度学习笔记(一):logistic分类深度学习笔记(二):简单神经网络,后向传播算法及实现深度学习笔记(三):激活函数和损失函数深度学习笔记:优化方法总结深度学习笔记(四):循环神经 ...
下载量过百万的吴恩达机器学习和深度学习笔记更新了！（附PDF下载）
今天,我把吴恩达机器学习和深度学习课程笔记都更新了,并提供下载,这两本笔记非常适合机器学习和深度学习入门.(作者:黄海广) 0.导语我和同学将吴恩达老师机器学习和深度学习课程笔记做成了打印版,放在g ...
Tensorflow深度学习学习笔记
Tensorflow学习笔记一.Tensorflow基础及深度学习原理 1.Tensorflow中网络搭建的三种方法 1.keras.models.Sequential() 2.keras.mode ...
概率图模型学习笔记：HMM、MEMM、CRF
作者:Scofield 链接:https://www.zhihu.com/question/35866596/answer/236886066 来源:知乎著作权归作者所有.商业转载请联系作者获得授权 ...
CV学习笔记 | CV综述 [2020.10.01]
文章目录 0. 概述(整理完后随时修改) 1. 人工神经网络 1.1. 人工神经网络发展历程 1.2. 一些神经元节点的工作原理 1.2.1. 基本神经元 1.2.2. 卷积神经元(Convoluti ...