论文：https://arxiv.org/pdf/1409.2329.pdf

摘要：

论文为RNN中的LSTM单元提出一个简单的调整技巧，dropout在调整神经网络中取得非常大的成功，但是在RNN（循环神经网络）和LSTM中表现不好。论文展示了如何正确的在LSTM中应用dropout，并且显示出该技巧能够显著减少过拟合现象。

介绍：

循环神经网络(RNN)是一个连续神经网络，用于解决语言模型、语音重建和机器翻译等问题。不幸的是，dropout在RNNs中表现不佳，在比较大的RNN网络中，常常出现过拟合现象。论文提出了一个很好的使用dropout的技巧来解决这个过拟合的问题。

dropout在RNN中表现不佳是由于循环增大了噪声，该噪声对学习效果有害。论文提出的方法可以通过在RNN的一些子集连接中使用dropout来解决这个问题。

论文提出算法的代码：https://github.com/wojzaremba/lstm

LSTM:

RNN方程如下，RNN动态的描述了之前状态和当前状态的转变：

在经典的RNNs网络中，该方程可表达如下;

LSTM的引入，使得RNN可以记住一定数量步骤的的信息，同时也使得上述过程复杂化，long term 储存在一个向量中：，LSTM的结构可以由如下方程表示，右图是LSTM的结构表示：

其中：表示仿射，表示 t 时刻 l 隐藏层的状态。

论文最主要的思想是，在没有循环连接的结构中使用dropout，换言之，在有循环连接结构中，不适用dropout，方程修改如下所示，数据流向及操作如下右图所示，虚线表示使用了dropout，实线表示没有使用dropout：

论文采用的方式使得在RNN之间的信息传递，数据计算更加具有鲁棒性，同时也保证了数据之间的相关性和完整性。下图显示了，信息从 t-2 步流向到 t+2 步中，实线表示信息数据的流向。

RNN(recurrent neural network regularization)相关推荐

【论文阅读】Recurrent Neural Network Regularization
本来是打算搜搜RNN或者LSTM的原文,结果arxiv上没搜到(求求,帮帮),然后就搜到知乎上一个回答: 心想完蛋,年份跨度比较远的论文读起来会不会很费劲啊.结果搜到LSTM的原论文了(论文链接:ht ...
(zhuan) Recurrent Neural Network
Recurrent Neural Network 2016年07月01日 Deep learning Deep learning 字数:24235 this blog from: http://jxg ...
Recurrent Neural Network系列2--利用Python，Theano实现RNN
作者:zhbzz2007 出处:http://www.cnblogs.com/zhbzz2007 欢迎转载,也请保留这段声明.谢谢! 本文翻译自 RECURRENT NEURAL NETWORKS T ...
深度学习之递归神经网络(Recurrent Neural Network，RNN)
为什么有bp神经网络.CNN.还需要RNN? BP神经网络和CNN的输入输出都是互相独立的:但是实际应用中有些场景输出内容和之前的内容是有关联的. RNN引入"记忆"的概念:递归 ...
什么是RNN？一文看懂强大的循环神经网络(Recurrent Neural Network, RNN)
循环神经网络(Recurrent Neural Network,RNN)是一类用于处理序列数据的神经网络.所谓序列数据,即前面的输入和后面的输入是有关系的,如一个句子,或者视频帧.就像卷积网络是专门用 ...
RNN循环神经网络（recurrent neural network）
自己开发了一个股票智能分析软件,功能很强大,需要的点击下面的链接获取: https://www.cnblogs.com/bclshuai/p/11380657.html 1.1 RNN循环神经网络 ...
深度学习笔记（四）——循环神经网络（Recurrent Neural Network, RNN）
目录一.RNN简介 (一).简介 (二).RNN处理任务示例--以NER为例二.模型提出 (一).基本RNN结构 (二).RNN展开结构三.RNN的结构变化 (一).N to N结构RNN模型 ...
【李宏毅机器学习笔记】 23、循环神经网络（Recurrent Neural Network，RNN）
[李宏毅机器学习笔记]1.回归问题(Regression) [李宏毅机器学习笔记]2.error产生自哪里? [李宏毅机器学习笔记]3.gradient descent [李宏毅机器学习笔记]4.Cl ...
RNN（Recurrent Neural Network）是怎么来的？
RNN(Recurrent Neural Network)是怎么来的? 一些应用场景,比如说写论文,写诗,翻译等等. 既然已经学习过神经网络,深度神经网络,卷积神经网络,为什么还要学习RNN? 首先我 ...

RNN(recurrent neural network regularization)

摘要：

介绍：

LSTM:

RNN(recurrent neural network regularization)相关推荐

最新文章

热门文章