LSTM神经网络详解
LSTM
长短时记忆网络(Long Short Term Memory Network, LSTM),是一种改进之后的循环神经网络,可以解决RNN无法处理长距离的依赖的问题,目前比较流行。
长短时记忆网络的思路:
原始 RNN 的隐藏层只有一个状态,即h,它对于短期的输入非常敏感。
再增加一个状态,即c,让它来保存长期的状态,称为单元状态(cell state)。
按照上面时间维度展开:
在 t 时刻,LSTM 的输入有三个:当前时刻网络的输入值 X_t、上一时刻 LSTM 的输出值 h_t-1、以及上一时刻的单元状态 C_t-1;
LSTM 的输出有两个:当前时刻 LSTM 输出值 h_t、和当前时刻的单元状态 C_t.
关键问题是:怎样控制长期状态 c ?
方法是使用三个开关
第一个开关,负责控制继续保存长期状态c;
第二个开关,负责控制把即时状态输入到长期状态c;
第三个开关,负责控制是否把长期状态c作为当前的LSTM的输出。
如何在算法中实现这三个开关?
方法:用 门(gate)
定义:gate 实际上就是一层全连接层,输入是一个向量,输出是一个 0到1 之间的实数向量。
公式为:
也就是:
gate 如何进行控制?
方法:用门的输出向量按元素乘以我们需要控制的那个向量
原理:门的输出是 0到1 之间的实数向量,当门输出为 0 时,任何向量与之相乘都会得到 0 向量,这就相当于什么都不能通过;
输出为 1 时,任何向量与之相乘都不会有任何改变,这就相当于什么都可以通过。
LSTM 的前向计算
一共有 6 个公式
遗忘门(forget gate)
它决定了上一时刻的单元状态 c_t-1 有多少保留到当前时刻 c_t
输入门(input gate)
它决定了当前时刻网络的输入 x_t 有多少保存到单元状态 c_t
输出门(output gate)
控制单元状态 c_t 有多少输出到 LSTM 的当前输出值 h_t
遗忘门的计算为:
遗忘门的计算公式中:
W_f 是遗忘门的权重矩阵,[h_t-1, x_t] 表示把两个向量连接成一个更长的向量,b_f是遗忘门的偏置项,σ 是 sigmoid 函数。
输入门的计算公式:
根据上一次的输出和本次输入来计算当前输入的单元状态:
当前时刻的单元状态 c_t 的计算:由上一次的单元状态 c_t-1 按元素乘以遗忘门 f_t,再用当前输入的单元状态 c_t 按元素乘以输入门 i_t,再将两个积加和:这样,就可以把当前的记忆 c_t 和长期的记忆 c_t-1 组合在一起,形成了新的单元状态 c_t。由于遗忘门的控制,它可以保存很久很久之前的信息,由于输入门的控制,它又可以避免当前无关紧要的内容进入记忆。
输出门的计算公式:
LSTM 的反向传播训练算法
主要有三步:
1. 前向计算每个神经元的输出值,一共有 5 个变量,计算方法就是前一部分:
2. 反向计算每个神经元的误差项值。与 RNN 一样,LSTM 误差项的反向传播也是包括两个方向:
一个是沿时间的反向传播,即从当前 t 时刻开始,计算每个时刻的误差项;
一个是将误差项向上一层传播。
3. 根据相应的误差项,计算每个权重的梯度。
gate 的激活函数定义为 sigmoid 函数,输出的激活函数为 tanh 函数,导数分别为:
具体的推导公式为:
具体的推导公式为:
目标是要学习 8 组参数,如下图所示:
又权重矩阵 W 都是由两个矩阵拼接而成,这两部分在反向传播中使用不同的公式,因此在后续的推导中,权重矩阵也要被写为分开的两个矩阵。
接着就来求两个方向的误差,和一个梯度计算。
1.误差项沿时间的反向传递:
定义 t 时刻的误差项:
目的是要计算出 t-1 时刻的误差项:
利用 h_t c_t 的定义,和全导数公式,可以得到 将误差项向前传递到任意k时刻的公式:
2. 将误差项传递到上一层的公式:
3. 权重梯度的计算:
以上就是 LSTM 的训练算法的全部公式。
LSTM神经网络详解相关推荐
- 最形象的卷积神经网络详解:从算法思想到编程实现(转载)
mark一下,感谢作者分享! 原标题:最形象的卷积神经网络详解:从算法思想到编程实现 1 新智元推荐 查看全文 http://www.taodudu.cc/news/show-4611564.html ...
- LSTM公式详解推导
书籍简介 LSTM理解 LSTM流程简介 算法及公式 一些函数 一些符号 前向传播 反向传播 关于误差的定义 公式推导 总结 书籍简介 <Surpervised Sequence Labelli ...
- 长短期记忆(LSTM)详解
入门小菜鸟,希望像做笔记记录自己学的东西,也希望能帮助到同样入门的人,更希望大佬们帮忙纠错啦~侵权立删. ✨完整代码在我的github上,有需要的朋友可以康康✨ https://githu ...
- pytorch nn.LSTM()参数详解
输入数据格式: input(seq_len, batch, input_size) h0(num_layers * num_directions, batch, hidden_size) c0(num ...
- 3D卷积神经网络详解
1 3d卷积的官方详解 2 2D卷积与3D卷积 1)2D卷积 2D卷积:卷积核在输入图像的二维空间进行滑窗操作. 2D单通道卷积 对于2维卷积,一个3*3的卷积核,在单通道图像上进行卷积,得到输出的动 ...
- 离散型Hopfield神经网络详解
DHNN详解目录 hopfield hopfield类型 DHNN网络模型 DHNN网络的运行过程 DHNNN网络的状态 DHNN网络的输入 DHNN网络的演变规律(转移函数) DHNN网路的异步工作 ...
- Lenet -5 神经网络详解
网络解析(一):LeNet-5详解 5 2,211 °C A+ 所属分类:深度学习 摘要 LeNet-5出自论文Gradient-Based Learning Applied to Document ...
- [Python人工智能] 十二.循环神经网络RNN和LSTM原理详解及TensorFlow编写RNN分类案例
从本专栏开始,作者正式开始研究Python深度学习.神经网络及人工智能相关知识.前一篇讲解了TensorFlow如何保存变量和神经网络参数,通过Saver保存神经网络,再通过Restore调用训练好的 ...
- 双向长短时记忆循环神经网络详解(Bi-directional LSTM RNN)
1. Recurrent Neural Network (RNN) 尽管从多层感知器(MLP)到循环神经网络(RNN)的扩展看起来微不足道,但是这对于序列的学习具有深远的意义.循环神经网络(RNN)的 ...
- 【百度贾磊】汉语语音识别技术重大突破:LSTM+CTC详解(22PPT)
1新智元原创1 作者:王嘉俊 新智元福利 回复1028下载贾磊22页PPT Google 去年发布了一项研究报告,说在美国年龄介于13到18岁的青年当中,约有55%的人每天使用语音搜索. 语音搜索正在 ...
最新文章
- Lucky Substrings
- python学习--for循环详解
- pandas删除满足条件的行_入门Pandas练习
- windows等宽字体
- linux gcc编译只能编译一条,请教一个gcc编译器的问题啊
- python 引入同一路径的类_Python实现Wordcloud生成词云图的示例
- mysql数据库复制数据表时的风险
- nginx 日志和监控
- 科学研究:统计来看,是不是新(接触的)人运气明显好?
- c语言中各种符号的意思。
- php ecshop二次开发,ecshop二次开发对ecshop系统框架分析
- JAVA 三个框架结合运用思路_SSM框架的整合与使用——实现简单的转账系统
- 无线数字信息传送服务器,无线数字远程监控管理及网站实时推广项目方案.doc...
- 青少年python编程入门范例_青少年Python编程入门—图解Python
- Caesar解密-number theroy
- linux比较两个文件md5,linux 比较两个文件夹diff不同 (diff命令, md5列表)
- 最短路默写1最短路默写2
- Scroller类及scroll相关方法总结
- Final Cut Pro 学习笔记
- mysql workbench 报 tables could not be fetched.