LSTM 三重门背后的故事

在前面的文章中我们知道了基本的 RNN 很容易出现梯度消失的问题，并且列出了梯度消失的几个解决方案，其中包括 LSTM 模型，今天就来看看 LSTM 是怎样解决这个问题的。

本文知识点：

LSTM 的结构
- 为什么 LSTM 要有三重门？
- 如何将三道门相连？
LSTM 的前向计算
反向传播
LSTM 是如何解决梯度消失的

在文章的末尾会列出几个关于 LSTM 的面试真题，大家在学习完本节内容后可以用这些题目检验一下自己是否能够回答上来。

首先我们来看一下 LSTM 的结构。

LSTM: Long short-term memory 长短期记忆网络也是一种 RNN 结构，因为它也具有反馈连接。在结构上，它和基本 RNN 的区别在于多了三个门控单元和一个长期状态，这样的结构使它可以学习到数据的长期时间依赖性，可以解决基本 RNN 的梯度消失问题。LSTM 的应用也很广，可以用于图像，音频，视频，金融数据等多种领域。

1. LSTM 的结构

LSTM 的结构如下图所示：

用数学表达为：

$ it = \sigma (Wi h{t-1} + Ui x{t} + bi)$ $ ot = \sigma (Wo h{t-1} + Uo x{t} +

LSTM 三重门背后的故事相关推荐

复兴or幻象？VR的2021三重门
来源:脑极体从2020年底开始,无论你日常看一些数码博主的评测,还是喜欢了解科技产业的动态.投融资的报道,都能在媒体中了解到这么一个信号:2021,VR复兴了! 当然,这个表述有很多说法,比如VR又 ...
量子纠缠背后的故事（三）：维格纳的朋友精选
1962年,正值不惑之年的库恩(Thomas Kuhn)写作出版了<科学革命的结构>(The Structure of Scientific Revolutions).因为提出科学思想发展 ...
Mac OS X 背后的故事（三）Mach之父Avie Tevanian 1
1975年,美国罗彻斯特大学纽约分校,一组研究员正在做一个名为RIG(Rochester"s Intelligent Gateway)的项目,它由Jerry Feldman主持设计.RIG的 ...
八十八枚红手印背后的故事
八十八枚红手印背后的故事杨桂林一这是2019年的一天."听说咱们的第一书记要回单位了!"这个消息一阵风似的传遍了乌兰敖包嘎查方圆几十公里的山坳里的牧户.草场.牧民们一些一时没 ...
地产2022价值启示录：房企必须闯过的“三重门”
回顾2022年,中国最大的经济变向之一,无疑就是地产增量时代的落幕. 过去一整年,地产行业在"冷热交替"中前行.上半年,疫情.交付延期.停贷潮等阴霾萦绕在众多房企头顶上,市场需求疲 ...
市值首超6000亿美元！微软云转型背后的故事
关注ITValue,查看企业级市场最新鲜.最具价值的报道! 2017年10月,微软市值首次超过6000亿美元.这是Satya Nadella成为微软第三任CEO后,所创造的新微软历史,上一次微软市值 ...
“无用发明家”告诉你，5G推开了三重门
不知道从什么时候起,"无用发明家"的概念开始兴起.国内有大家耳熟能详的手工耿,日本有"无用发明家"麻里菜.这些动手能力极强的视频博主,不断向观众展示一件件极富创 ...
智能家居赛道再现“鲶鱼”，“智有范”敲碎“三重门”
作者 | 曾响铃文 | 响铃说前不久,国际组织连接标准联盟宣布,面向智能家居互联互通的技术标准规范Matter 1.0版本正式发布,认证程序同时开放. 长期以来,碎片都是智能家居行业发展的几个致命 ...
向未来飞驰：武汉推开了AI产业化和产业AI化的三重门
前不久,我们以2021东湖国际人工智能高峰论坛为契机,报道过人工智能的"中国体系"在湖北武汉初现雏形.相信不少人都感受到了人工智能产业从算力基础设施.战略规划.科研推进的种种振奋人 ...

LSTM 三重门背后的故事

LSTM 三重门背后的故事

1. LSTM 的结构

LSTM 三重门背后的故事相关推荐

最新文章

热门文章