RNN隐藏层的两种计算方法GRU和LSTM

本篇文章主要介绍两种RNN的隐藏层信息计算方法GRU（Gated Recurrent Units）和LSTM（Long-Short-Term-Memories），这两种隐藏层的计算方法通过引入门（Gate）的机制来解决RNN的梯度消失问题，从而学习到长距离依赖。

这里说的隐藏层计算方法指的是如何计算下个时刻的隐藏层信息，标准RNN中计算方法是：

而LSTM和GRU可以理解为计算ht的另一种方法。

LSTM

这篇文章详细地解释了LSTM各个门的物理含义，以及LSTM计算隐藏层的方法，这里简要的进行总结，下图是LSTM网络的示意图，图中各个符号的含义参考原文：

某个时刻LSTM计算隐藏层的方法参考下图：

GRU

GRU可以看成是LSTM的变种，GRU把LSTM中的forget gate和input gate用update gate来替代。把cell state和隐状态htht进行合并，在计算当前时刻新信息的方法和LSTM有所不同。下图是GRU更新htht的过程：

具体更新过程如下

RNN隐藏层的两种计算方法GRU和LSTM相关推荐

置信区间（Confidence Intervals）是什么？如何计算置信区间？置信区间的两种计算方法是什么？二值样本置信区间如何计算？如何基于bootstrap抽样进行置信区间计算？
置信区间(Confidence Intervals)是什么?如何计算置信区间?置信区间的两种计算方法是什么?二值样本置信区间如何计算?如何基于bootstrap抽样进行置信区间计算? 目录置信区间( ...
Model层的两种写法
Model层的两种写法第一种写法 namespace MyMVC.Models {public class Child{ //属性private int id;public int Id{get { ...
javascript控制页面控件隐藏显示的两种方法
javascript控制页面控件隐藏显示的两种方法,方法的不同之处在于控件隐藏后是否还在页面上占位方法一: document.all<"PanelSMS">.styl ...
linux HPA隐藏分区,删除HPA隐藏分区有两种方法
删除HPA隐藏分区有两种方法: 1.是常规方法,利用品牌机自带卸载程序.这个不说了,卸载这个程序HPA就不在人间了. 2.是用MHDD命令释放分区. MHDD 是一款由俄罗斯人所开发的免费硬盘实体扫描 ...
QTreeWidget隐藏节点的两种方式
简述关于QTreeWidget隐藏节点有两种方式,一种是直接隐藏,一种是间接隐藏,但是两种方式各有差异,下面请听具体解说. 方法一:直接隐藏式 Qt助手里面提供了QTreeWidgetItem::s ...
TIA博途中累计流量的两种计算方法示例
TIA博途中累计流量的两种计算方法示例如下图所示,首先,我们要了解累计流量的含义: 即t1至t2时刻,对瞬时流量求定积分, 由上图可知,t1至t2的定积分,即蓝色部分的面积,那么直接求这个面积是有难 ...
四分位数的两种计算方法
关于四分位数的两种求法在数据导论课上,我们学习了如何求解四分位数的方法,其实操作起来也不难先用 (n+1) / 4 * i 计算出四分位数的位置,再求出该位置上的数的值即可.如一组数据 [1,3,6 ...
UITabBar背景、icon图标颜色、被选中背景设置以及隐藏UITabBar的两种方式
一.对UITabBar背景和icon图标的一些设置 (1)因为直接给UITabBar设置的背景颜色显示的不纯,半透明的感觉,所以,有时候我们可以直接利用纯色的图片作为背景达到想要的效果: (2)给ic ...
java 隐藏标题栏_两种方法一句代码隐藏Activity的标题栏
把Activity的标题栏隐藏有两种方法.一种是在在Activity里面设置javacode.还有一种是在项目的清单文件AndroidManifest.xml中设置模版样式. 一.在Activity中 ...

RNN隐藏层的两种计算方法GRU和LSTM

LSTM

GRU

RNN隐藏层的两种计算方法GRU和LSTM相关推荐

最新文章

热门文章