大白话理解LSTM神经网络（附实例讲解）

前言

本文章为个人学习笔记整理，所学习的内容来自b站up主@老弓的学习日记，附有实例讲解。

归类

长短期记忆神经网络（LSTM）是一种特殊的循环神经网络(RNN)。原始的RNN在训练中，随着训练时间的加长以及网络层数的增多，容易出现梯度爆炸或梯度消失的问题，导致无法处理较长序列数据，从而无法获取长距离数据的信息。为解决该问题，提出了它的改进方案，即LSTM神经网络。

设计思路
RNN神经网络：记住所有信息，无论是有用的还是无用的。
LSTM神经网络:选择一个记忆细胞，对信息有选择性地记忆。

LSTM的前向传播

其中， t为时刻， $C_{t}$ 为记忆细胞， $h_{t}$ 为状态， $x_{t}$ 为输入， $f_{t}$ 为遗忘门， $i_{t}$ 为更新门， $o_{t}$ 为输出门。

运算过程如下所示：

（注：公式中的 $g_{t}$ 与图中tanh上方的 $c_{t}$ 一致）

实例讲解

以上内容看不懂没关系，这里会用简单的例子来讲解，让我们回到这个图：

假设现在是期末考试周且你的脑容量有限，昨天你考完了高等数学，后天将考线性代数，你的线性代数老师也为你贴心地划好了考试重点。上文已经提到过，RNN会记住所有的信息，无论是有用信息还是无用信息，即你复习了整本线性代数的书本，并将其内容与上一门高等数学的内容全部记忆了下来。而对于LSTM来说，你将遗忘大部分高等数学的内容，而只保留基础数学运算等通用内容，并且只复习记忆线性代数书本中老师划出的重点。

图中的 $C_{t-1}\bigotimes f _{t}$ 会生成一系列0-1之间的数，如[0，1，0.7，0，0.3，1]，对其赋权重后，进行选择性遗忘。对应刚才的例子，此处 $C_{t-1}$ 为刚考完的高等数学， $C_{t-1}\bigotimes f _{t}$ 的处理结果为：遗忘大部分高等数学的知识，记忆能够用到线代考试中的基础数学运算等知识。

那么如何理解更新门 $i_{t}$ 呢？老师所划出的重点并不会全部出现在试卷上，你可以在复习的过程中根据自己的理解，判断哪些内容可能考，哪些内容肯定不考，由此再进行筛选过滤。这就是更新门的作用。

在LSTM的每个时间步里，都有一个记忆cell，给予LSTM选择记忆的功能。

LSTM的反向传播（能够解决梯度消失问题的原因）

通过调节 $w_{hf}$ 、 $w_{hi}$ 、 $w_{hg}$ ，可以灵活控制 $\frac{\partial C_{t}}{\partial C _{t-1}}$ 的值，当要从n时刻长期记忆某个东西直到m时刻时，该路径上的 $\prod_{t=n}^{m}\frac{\partial C_{t}}{\partial C_{t-1}}$ $\approx 1\times 1\times 1\cdot \cdot \cdot \times 1$ ，从而大大缓解了梯度消失。

（原up有这部分的具体公式推导，感兴趣的小伙伴可以去看一下）

大白话理解LSTM神经网络（附实例讲解）相关推荐

理解LSTM神经网络 ---- 翻译 Understanding LSTM Networks
理解LSTM神经网络 -- 翻译 Understanding LSTM Networks 这篇文章是Understanding LSTM Networks博客的翻译,仅用于学习和理解.因为个人水平有限 ...
【Python基础】手把手教你数据可视化！（附实例讲解）
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达作者:CrescentAI,华南理工大学,Datawhale优秀学 ...
手摸手教你数据可视化！（附实例讲解）
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:CrescentAI,华南理工大学,Datawhale优秀学习者 ...
Linux下Desktop文件入门,解析Deepin Linux系统中的Desktop文件，附实例讲解
以下内容为你解析 Deepin Linux 操作系统中的 Desktop Entry 文件,同时附上实例讲解. 概念 Desktop Entry 文件是 Linux 桌面系统中用于描述程序启动配置信息 ...
list复制到另一个list_一文总结saltstack的十一个常用模块，附实例讲解
概述 SaltStack 通过模块来实现管理,具备丰富的模块功能,命令形式也比较自由. 今天主要介绍一下saltstack常见的一些模块. 常用执行模块如下: cron模块archive模块cmd模块 ...
关于AAARR模型，还停留在理论却不会用？附实例讲解
近期不少互联网大厂纷纷开启提前批,其中非技术岗位招聘最多的就是运营,而运营岗里必用到的数据/业务分析模型就是AAARR模型. AARRR模型又叫海盗模型,是用户运营过程中常用的一种模型,解释了实现用户 ...
JAVA栈（Stack）用法附实例讲解
一.功能栈(Stack)是Vector的一个子类,它实现了一个标准的后进先出的栈,也定义了自己的一些方法. 二.声明 1.声明一个栈的写法,E表示数据类型,name是你给栈起的名字,其余为关键字 S ...
ANSYS Workbench中各种设置选项都不理解怎么办？(附实例surface effect)
目录摘要如何查找各设置选项的含义举例 PS 摘要 ANSYS Workbench中各种设置选项繁多,材料.网格.接触.边界等等. 例如,边界条件中又分为惯性边界条件.位移约束边界条件.荷载类边界 ...
JAVA队列（Queue）用法附实例讲解
一.功能队列是一种特殊的线性表,它只允许在表的前端进行删除操作,而在表的后端进行插入操作. 二.声明 1.声明一个栈的写法,E表示数据类型,name是你给队列起的名字,LinkedList类实现了Q ...
2 小时学会 springboot ( 附实例讲解 )
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到教程. 一.什么是spring boot Takes an opinionated view of buil ...

大白话理解LSTM神经网络（附实例讲解）

大白话理解LSTM神经网络（附实例讲解）相关推荐

最新文章

热门文章